[논문 리뷰] Counterfactual Learning for Machine Translation: Degeneracies and Solutions

Carolin Lawrence, Pratik Gajane외 1명|arXiv (Cornell University)|2017. 11. 23.

Machine Learning and Algorithms참고 문헌 12인용 수 6

한 줄 요약

이 논문은 탐색이 없는 결정론적 로깅 정책 하에서 기계 번역의 반사적 학습에서 역 확률 스코어링 및 재가중 추정기의 비정상성(degeneracies)을 분석한다. 직접 보상 추정을 통합함으로써 성능 저하를 방지하는 双중 강건(doubly robust) 및 재가중 추정기를 제안하고 검증하여, 온라인 탐색 없이도 실제 사용자 피드백으로부터 효과적인 오프라인 학습을 가능하게 한다.

ABSTRACT

Counterfactual learning is a natural scenario to improve web-based machine translation services by offline learning from feedback logged during user interactions. In order to avoid the risk of showing inferior translations to users, in such scenarios mostly exploration-free deterministic logging policies are in place. We analyze possible degeneracies of inverse and reweighted propensity scoring estimators, in stochastic and deterministic settings, and relate them to recently proposed techniques for counterfactual learning under deterministic logging.

연구 동기 및 목표

• 기계 번역에서 스토케스틱 및 결정론적 로깅 정책 하에서 역 확률 스코어링(IPS) 및 재가중 IPS의 비정상성(degeneracies)을 식별하고 형식화하기.
• 탐색이 없는 결정론적 로깅 정책에서 표준 오프-폴리시 추정기가 실패하는 이유를 설명하기.
• 직접 보상 예측을 통합함으로써 이중 강건 및 재가중 추정기가 이러한 비정상성을 극복할 수 있음을 보여주기.
• 온라인 탐색 없이도 기록된 사용자 피드백을 활용한 오프라인 학습에서 이러한 방법의 효과성을 검증하기.
• 실제 생산 규모의 기계 번역 시스템에 반사적 학습을 적용하기 위한 이론적 및 실증적 근거 제공하기.

제안 방법

• 모델의 자체 출력 확률로 예측 보상을 정규화함으로써 로깅 편향을 보정하는 재가중 결정론적 성향 매칭(DPM+R) 목적함수를 제안.
• 역 확률 스코어링과 학습된 직접 보상 예측기의 조합을 통해 분산을 줄이고 비정상성을 방지하는 이중 강건(DR) 추정기를 도입.
• 이중 강건 추정기의 분산을 최소화하는 스칼라 $\hat{c}$를 적용하여 안정성과 성능 향상을 위한 $\hat{c}$DC 목적함수를 도출.
• 가중 중요도 샘플링을 사용해 기록된 데이터를 재가중함으로써, 로깅 정책이 결정론적일 경우에도 편향 없는 추정이 가능하도록 함.
• 확률 질량이 낮은 보상 출력으로 이동하는 비정상적 해에 수렴하는 것을 방지하기 위해 학습 중 조기 정지 기법을 적용.
• BLEU 점수를 보상 신호로 사용하여 독립 도메인 적응을 위한 독일어-영어 및 프랑스어-영어 번역 작업에서 방법을 검증.

실험 결과

연구 질문

• RQ1 기계 번역에서 결정론적 로깅 하에서 역 확률 스코어링 및 그 재가중 변형의 이론적 비정상성은 무엇인가?
• RQ2 실제 번역 시스템에서 결정론적 로깅 정책에 표준 오프-폴리시 추정기를 적용할 경우 실패하는 이유는 무엇인가?
• RQ3 직접 보상 추정은 결정론적 로깅 하에서 오프-폴리시 학습의 안정성과 성능 향상에 어떻게 통합될 수 있는가?
• RQ4 이중 강건 및 재가중 추정기는 기록된 피드백에서의 오프라인 학습에서 비정상적 행동을 효과적으로 방지하고 기존 방법을 능가할 수 있는가?
• RQ5 이러한 방법들은 온라인 탐색 없이도 도메인 적응 시나리오에서 번역 품질을 어느 정도 향상시킬 수 있는가?

주요 결과

• DPM+R 및 $\hat{c}$DC 추정기는 로그에 나타나지 않은 고보상 출력으로도 확률 질량을 재분배함으로써 비정상성을 효과적으로 방지한다.
• 독일어-영어 TED 대화 도메인에서 $\hat{c}$DC는 도메인 외 기준 모델 대비 테스트 세트에서 +2.02 BLEU 포인트 향상 달성.
• 프랑스어-영어 뉴스 도메인에서 $\hat{c}$DC는 테스트 세트에서 +1.13 BLEU 포인트 향상 달성하며, 모든 다른 방법보다 뛰어난 성능 기록.
• $\hat{c}$DC 방법은 결정론적 로깅 하에서 두 언어 쌍과 평가 세트 전반에서 일관되게 가장 높은 향상을 기록.
• 결정론적 로깅과 스토케스틱 로깅 간의 성능 격차가 작아, 제안된 방법이 스토케스틱 탐색 없이도 강건함을 시사.
• 재가중 및 이중 강건 추정기는 표준 IPS와 달리 낮은 보상 출력으로의 확률 질량 할당을 방지함으로써 모델의 성능 저하를 방지한다.