[논문 리뷰] Countering Language Drift with Seeded Iterated Learning

Yuchen Lu, Soumye Singhal외 3명|arXiv (Cornell University)|2020. 03. 28.

Topic Modeling참고 문헌 60인용 수 4

한 줄 요약

이 논문은 목표 지향 대화 에이전트에서 언어 이탈을 완화하기 위해 주기적으로 새로 훈련된 교사 에이전트의 모방을 통해 학생 에이전트를 개선하는 작업에 종속되지 않는 Seeded Iterated Learning(SIL)을 제안한다. SIL은 작업 완수 능력을 향상시키면서도 문법적 및 의미적 언어 구조를 유지하며, 외부 언어학적 제약 없이 토이 게임과 실제 세계의 언어 게임 모두에서 베이스라인을 능가한다.

ABSTRACT

Pretraining on human corpus and then finetuning in a simulator has become a standard pipeline for training a goal-oriented dialogue agent. Nevertheless, as soon as the agents are finetuned to maximize task completion, they suffer from the so-called language drift phenomenon: they slowly lose syntactic and semantic properties of language as they only focus on solving the task. In this paper, we propose a generic approach to counter language drift called Seeded iterated learning (SIL). We periodically refine a pretrained student agent by imitating data sampled from a newly generated teacher agent. At each time step, the teacher is created by copying the student agent, before being finetuned to maximize task completion. SIL does not require external syntactic constraint nor semantic knowledge, making it a valuable task-agnostic finetuning protocol. We evaluate SIL in a toy-setting Lewis Game, and then scale it up to the translation game with natural language. In both settings, SIL helps counter language drift as well as it improves the task completion compared to baselines.

연구 동기 및 목표

• 상호작용 강화학습을 통해 훈련된 목표 지향 대화 에이전트에서 언어 이탈을 해결하기 위해.
• 微조정 중에 사전학습된 언어 모델의 문법적 및 의미적 성질을 유지하기 위해.
• 외부 언어학적 지식이나 제약 조건이 필요 없는 작업에 종속되지 않고 자기지도 학습 방식을 개발하기 위해.
• 통제된 환경과 실제 세계의 언어 게임에서 방법의 실증적 검증을 위해.
• 상호작용 훈련 중에 모방 학습이 언어 분포를 어떻게 안정화시키는지 메커니즘을 이해하기 위해.

제안 방법

• SIL은 교사 에이전트의 상호작용 훈련과 학생 에이전트의 감독적 모방 학습을 번갈아 수행한다.
• 각 반복 단계에서 교사는 현재의 학생을 복사하여 초기화하고, 작업 완수를 최대화하기 위해 강화학습을 통해 미세조정한다.
• 교사는 탐색적 디코딩을 통해 작업 관련 발화 데이터셋을 생성하며, 이는 이후 학생의 감독적 학습을 위해 사용된다.
• 다수의 세대에 걸쳐 반복되며, 각 학생은 새로 훈련된 교사의 출력 기반으로 개선된다.
• 이 방법은 모방 학습의 인덕티브 바이어스를 활용하여 비정형적이고 작업에 특화된 언어를 걸러내고 자연어 성질을 유지한다.
• 이 프rotocol는 하나의 턴 송수신자 게임인 루이스 게임과 프랑스-독일 번역 게임에 적용되어 강건성과 확장성 평가가 이루어졌다.

실험 결과

연구 질문

• RQ1 자기지도 학습 및 작업에 종속되지 않는 방법이 상호작용 대화 에이전트에서 언어 이탈을 효과적으로 완화할 수 있는가?
• RQ2 Seeded Iterated Learning은 상호작용 훈련 중에 문법적 및 의미적 구조를 어떻게 유지하는가?
• RQ3 SIL은 표준 미세조정 기반 베이스라인과 비교해 작업 완수 능력을 향상시키면서도 언어 품질을 유지하는가?
• RQ4 SIL을 조기에 중단했을 때 언어 이탈과 작업 성능에 어떤 영향을 미치는가?
• RQ5 다양한 훈련 제도에서 언어 가능성과 의미 일치 메트릭이 언어 이탈과 어떻게 상관관계를 가지는가?

주요 결과

• SIL은 기준선 대비 음의 로그 가능성(NLL)을 11% 향상시켜 생성된 발화의 더 나은 문법적 구조를 나타내며 언어 이탈을 감소시켰다.
• 모방 후 학생은 항상 교사보다 낮은 NLL을 기록하여 감독적 미세조정이 비정형 언어를 걸러내는 것을 보여준다.
• SIL을 조기에 중단했을 경우에도 작업 성능은 계속 향상되지만 언어 품질은 급격히 악화되어, SIL이 훈련 전반에 걸쳐 언어 이탈을 능동적으로 억제한다는 것을 시사한다.
• SIL은 언어 가능성 향상을 유지하면서도 안정적인 의미 일치(R1)를 유지하여 의미를 유지하면서 문법을 향상시킨다는 것을 보여준다.
• 번역 게임에서 SIL은 일반적인 Gumbel 또는 S2P 기반 베이스라인과 비교해 더 문법적으로 타당하고 이해하기 쉬운 문장을 생성했으며, 희귀어 처리 능력까지 확보했다.
• 이 방법은 작업 완수 능력과 언어 품질 모두에서 강력한 베이스라인을 능가하여 상호작용 학습 중 자연어 성질을 유지하는 데 효과적임을 입증했다.