[논문 리뷰] SEARNN: Training RNNs with Global-Local Losses

Rémi Leblond, Jean-Baptiste Alayrac외 2명|arXiv (Cornell University)|2017. 06. 14.

Topic Modeling참고 문헌 18인용 수 13

한 줄 요약

SeaRnn는 RNN에 대한 새로운 학습 알고리즘을 제안하며, 테스트 시 디코딩과 일치하는 방식으로 학습을 정렬하기 위해 구조적 예측을 통한 '학습하기 위한 검색'(L2S) 프레임워크에서 유도된 전역-국소 손실을 사용한다. 이로 인해 일반화 능력이 향상되며, 사전 학습 없이도 OCR, 철자 교정, 기계 번역에서 최대우도추정(MLE)을 능가한다. 대규모 어휘 집합을 사용하는 경우에도 하향샘플링 전략을 통해 스케일링이 가능하다.

ABSTRACT

We propose SEARNN, a novel training algorithm for recurrent neural networks (RNNs) inspired by the "learning to search" (L2S) approach to structured prediction. RNNs have been widely successful in structured prediction applications such as machine translation or parsing, and are commonly trained using maximum likelihood estimation (MLE). Unfortunately, this training loss is not always an appropriate surrogate for the test error: by only maximizing the ground truth probability, it fails to exploit the wealth of information offered by structured losses. Further, it introduces discrepancies between training and predicting (such as exposure bias) that may hurt test performance. Instead, SEARNN leverages test-alike search space exploration to introduce global-local losses that are closer to the test error. We first demonstrate improved performance over MLE on two different tasks: OCR and spelling correction. Then, we propose a subsampling strategy to enable SEARNN to scale to large vocabulary sizes. This allows us to validate the benefits of our approach on a machine translation task.

연구 동기 및 목표

• RNN에서 MLE 학습과 테스트 시 디코딩 간의 괴리, 특히 노출편향과 열악한 대체 손실 품질 문제를 해결하기 위해.
• 테스트 시 구조적 오류 정보를 학습 중에 통합함으로써 RNN의 일반화 능력을 향상시키기 위해 전역-국소 손실 설계를 통해.
• 강화학습 기반 방법의 한계를 극복하기 위해 사전 학습 모델에 의존하지 않고도 RNN의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 효율적인 하향샘플링 전략을 사용하여 대규모 어휘 집합을 가진 작업, 예를 들어 신경 기계 번역에까지 이 방법을 스케일링하기 위해.

제안 방법

• SeaRnn는 추론 시 사용하는 동일한 디코딩 전략을 사용한 결정적 롤아웃을 통해 유도된 전역 시퀀스 수준 비용과 국소 단계별 손실을 조합한 전역-국소 손실을 도입한다.
• 학습 중에 후보 시퀀스에 대한 구조적 탐색을 수행하여 시퀀스 수준 비용을 계산하고, 이를 미분 가능한 기울기 근사치를 통해 역전파한다.
• 롤아웃 중에 고정된 디코딩 정책(예: 근사적 또는 빔 서치)을 사용하여 비용을 계산함으로써 테스트 시 행동과 일치시키고, 손실의 확률적 요소를 피한다.
• 전체 시퀀스의 일부만을 롤아웃하기 위해 하향샘플링 전략을 도입함으로써 계산 비용을 줄이며, 대규모 어휘 집합에서도 성능을 유지하면서 스케일링을 가능하게 한다.
• 전역-국소 손실은 국소 교차엔트로피 항과 전체 예측 시퀀스 기반 전역 비용 항의 가중합으로 계산되며, MLE보다 더 나은 신호 전파를 가능하게 한다.
• 기울기 근사는 역전파 중에 비용 값들을 고정함으로써 근사되며, 이는 손실 함수의 비미분 가능성에도 불구하고 효율적인 최적화를 허용한다.

실험 결과

연구 질문

• RQ1 구조적 예측에서 파생된 전역-국소 손실이 MLE에 비해 시퀀스 모델링 작업에서 RNN 성능을 향상시킬 수 있는가?
• RQ2 SeaRnn가 강화학습 기반 또는 MLE 방법보다 더 나은 기울기 신호를 제공함으로써 RNN 학습에서 사전 학습의 필요성을 제거할 수 있는가?
• RQ3 전역-국소 손실 메커니즘은 신경 기계 번역과 같은 대규모 어휘 집합 작업에 스케일링될 수 있는가?
• RQ4 고차원 시퀀스 공간에서 하향샘플링 전략은 성능과 학습 효율성에 어떤 영향을 미치는가?
• RQ5 확률적 샘플링 대신 결정적 롤아웃을 사용할 경우, 학습과 테스트 시 행동 간의 일치도는 얼마나 향상되는가?

주요 결과

• SeaRnn는 OCR 및 철자 교정 작업에서 MLE를 크게 능가하며, 사전 학습 없이도 일반화 능력 향상을 입증한다.
• 대규모 기계 번역 작업에서 최신 기술 수준의 성능을 달성하여, 이 방법의 스케일링 가능성과 대규모 적용에서의 효과성을 검증한다.
• 하향샘플링 전략은 학습 시간을 크게 줄이며 MLE를 능가하는 성능 향상을 유지함으로써 대규모 어휘 설정에의 적용을 가능하게 한다.
• 기존의 액터-크리틱 또는 REINFORCE 기반 방법과 달리, 보조 모델(예: 기준 모델 또는 평가자)이 추가로 필요하지 않아 학습을 단순화하고 복잡성을 감소시킨다.
• 테스트 시 디코딩과 일치하는 결정적 롤아웃을 사용함으로써, 강화학습 기반 접근법에서 발생하는 확률적 정책 기울기로 인한 괴리 문제를 피한다.
• 전역-국소 손실 설계 덕분에 구조적 오류 신호로부터 효과적인 학습이 가능하며, MLE나 표준 강화학습 방법보다 시퀀스 단계 간에 더 나은 신호 분포를 제공한다.