[논문 리뷰] Bandit Structured Prediction for Learning from Partial Feedback in Statistical Machine Translation

Artem Sokolov, Stefan Riezler외 1명|arXiv (Cornell University)|2016. 01. 01.

Advanced Bandit Algorithms Research참고 문헌 44인용 수 11

한 줄 요약

이 논문은 부분 피드백(특히 단일 예측 번역에서의 손실 값)만을 사용하는 구조적 예측을 위한 Bandit Structured Prediction를 소개한다. 통계적 기계 번역에서 판별적 재순서 정렬에 적용했을 때, 전체 기준 번역(annotation)을 사용하는 방법과 유사한 번역 품질을 달성하며, 사용자가 단일 포인트 손실 피드백만 제공하는 상호작용형 개인화를 시뮬레이션한다.

ABSTRACT

We present an approach to structured prediction from bandit feedback, called Bandit Structured Prediction, where only the value of a task loss function at a single predicted point, instead of a correct structure, is observed in learning. We present an application to discriminative reranking in Statistical Machine Translation (SMT) where the learning algorithm only has access to a 1 − BLEU loss evaluation of a predicted translation instead of obtaining a gold standard reference translation. In our experiment bandit feedback is obtained by evaluating BLEU on reference translations without revealing them to the algorithm. This can be thought of as a simulation of interactive machine translation where an SMT system is personalized by a user who provides single point feedback to predicted translations. Our experiments show that our approach improves translation quality and is comparable to approaches that employ more informative feedback in learning.

연구 동기 및 목표

• 전체 기준 번역 annotation이 아닌 부분 피드백(예: 단일 예측에서의 손실)만 제공될 때 구조적 예측을 학습하는 데 도전하는 것.
• 금본 번역 번역이 없이도 예측 당 1 − BLEU 손실 피드백만을 사용하여 통계적 기계 번역에서 판별적 재순서 정렬을 가능하게 하는 것.
• 사용자가 번역에 대해 단일 포인트 피드백만 제공하는 상호작용형 기계 번역 시스템을 시뮬레이션하여, 최소한의 사용자 입력으로도 개인화를 향상시키는 것.
• 제한된 피드백이 전체 기준 번역 피드백을 사용하는 방법과 유사한 번역 품질을 달성할 수 있는지 평가하는 것.

제안 방법

• 이 방법은 예측 번역에서의 작업 손실(1 − BLEU) 값만 관측되며, 전체 기준 구조는 관측되지 않는 밴딧 피드백 설정을 사용한다.
• 완전한 참조 구조가 없이도 부분 피드백을 처리할 수 있도록 적응된 구조적 예측 프레임워크를 사용하며, 손실 신호에 기반해 고품질 번역을 선택하는 정책을 학습한다.
• 관측된 예측 행동에서의 손실 값만을 사용하여 기대 손실의 기울기를 추정함으로써, 완전한 감독 없이도 정책 업데이트를 가능하게 한다.
• 여러 후보 번역을 시뮬레이션된 사용자로부터의 피드백에 기반해 순서를 재정렬하는 통계적 기계 번역에서 이 프레임워크를 적용한다.
• 정책 최적화를 위해 확률적 경사 하강법을 사용하며, 관측된 1 − BLEU 손실에 기반해 파라미터를 업데이트한다.
• 기준 번역이 숨겨져 있고, 학습 알고리즘에게는 BLEU 점수만 공개되는 시뮬레이션 환경에서 이 방법을 평가한다.

실험 결과

연구 질문

• RQ1 전체 기준 구조에 접근할 수 없이도 예측 당 단일 손실 피드백 신호만으로도 구조적 예측을 효과적으로 학습할 수 있는가?
• RQ2 전체 기준 번역 피드백을 사용하는 방법과 비교해 볼 때, 밴딧 피드백 접근 방식은 통계적 기계 번역의 판별적 재순서 정렬에서 얼마나 잘 작동하는가?
• RQ3 사용자처럼 단일 포인트 피드백을 통해 번역 품질을 향상시킬 수 있는 시스템은, 상호작용형 개인화를 시뮬레이션할 수 있는가?
• RQ4 밴딧 구조적 예측 프레임워크는 SMT 재순서 정렬에서 표준 지도 학습 접근 방식과 유사한 번역 품질을 달성할 수 있는가?

주요 결과

• 제안된 밴딧 구조적 예측 접근 방식은 전체 기준 번역이 없는 부분 피드백(1 − BLEU 손실 값 형태)만을 받음에도 불구하고 SMT 재순서 정렬에서 번역 품질을 향상시킨다.
• 이 방법은 전체 기준 번역을 사용하는 접근 방식과 유사한 번역 품질을 달성하며, 구조적 예측에서 부분 피드백의 효과성을 입증한다.
• 사용자가 번역에 대해 단일 포인트 피드백만 제공하는 상호작용형 기계 번역을 성공적으로 시뮬레이션하며, 최소한의 입력으로도 개인화를 가능하게 한다.
• 실험 결과는 밴딧 피드백에서의 학습이 기계 번역의 구조적 예측 과제에 대해 타당하고 효과적이라는 것을 보여준다.