[논문 리뷰] Towards Unsupervised Language Understanding and Generation by Joint Dual Learning

Shang‐Yu Su, Chao-Wei Huang외 1명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 자연어 이해(NLU)와 자연어 생성(NLG) 간의 구조적 이중성에 기반하여, 지도학습과 비지도학습을 탄력적으로 통합할 수 있는 일반적인 연합 이중 학습 프레임워크를 제안한다. NLU와 NLG 모델을 순환적으로 훈련함으로써 각각의 출력이 원래 입력을 재구성하는 방식으로, 이 프레임워크는 두 작업 모두에서 성능을 향상시키며, 지도학습 및 강화학습 신호를 모두 활용하여 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In modular dialogue systems, natural language understanding (NLU) and natural language generation (NLG) are two critical components, where NLU extracts the semantics from the given texts and NLG is to construct corresponding natural language sentences based on the input semantic representations. However, the dual property between understanding and generation has been rarely explored. The prior work is the first attempt that utilized the duality between NLU and NLG to improve the performance via a dual supervised learning framework. However, the prior work still learned both components in a supervised manner, instead, this paper introduces a general learning framework to effectively exploit such duality, providing flexibility of incorporating both supervised and unsupervised learning algorithms to train language understanding and generation models in a joint fashion. The benchmark experiments demonstrate that the proposed approach is capable of boosting the performance of both NLU and NLG.

연구 동기 및 목표

• 비지도 학습 환경에서 NLU와 NLG 간의 이중성에 대한 탐색 부족 문제를 해결하기 위해.
• NLU 및 NLG 모듈에 대한 지도학습과 비지도학습 훈련을 통합하는 일반적인 학습 프레임워크를 개발하기 위해.
• NLU와 NLG 간의 구조적 이중성을 연합 최적화를 통해 활용하여 양쪽 작업의 성능을 향상시키기 위해.
• 이중 학습 프레임워크 내에서 다양한 강화학습 신호—예: 토큰 수준의 가능성, 자동 평가 지표, 공동 분포 추정—의 효과성을 조사하기 위해.

제안 방법

• 프레임워크는 이중 순환 구조를 사용한다: 정의 순환은 의미 프레임에서 시작하여 NLG를 통해 텍스트를 생성하고, NLU를 통해 원래 프레임을 재구성한다. 이중 순환은 반대로 진행되며, 발화에서 시작하여 의미를 재구성한다.
• 모델은 지도학습 손실과 강화학습 목표를 조합하여 훈련되며, 양방향 순환에서 기울기가 역전파된다.
• 강화학습 신호는 두 지점에 적용된다: 중간 순환(즉, NLG 출력에서)과 종료 순환(즉, NLU 재구성에서), 각각 다른 기울기 목표를 가진다.
• 프레임워크는 특정 아키텍처에 종속되지 않으며, GRU에 완전히 연결된 레이어와 같은 다양한 모델과 통합 가능하다.
• 다양한 보상 함수를 평가한다: 토큰 수준의 가능성, 문장/프레임 수준의 자동 평가 지표(예: BLEU, ROUGE), 그리고 MADE를 통한 코퍼스 수준의 공동 분포 추정.
• 훈련 과정은 알고리즘 1로 수식화되며, 두 순환에서 순방향 및 역방향 전파를 번갈아 수행하여 두 모델을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 NLU와 NLG 간의 이중성은 비지도 또는 약한 지도학습 환경에서 성능 향상에 효과적으로 활용될 수 있는가?
• RQ2 이중 학습을 통한 연합 훈련은 독립적 훈련 대비 NLU 및 NLG 양쪽의 성능에 어떤 영향을 미치는가?
• RQ3 강화학습 신호 중에서 토큰 수준, 문장 수준, 또는 분포 기반 중 어떤 것이 이중 학습 프레임워크에서 가장 높은 성능 향상을 이끌어내는가?
• RQ4 제안된 프레임워크는 통합 훈련 체계에서 지도학습 및 비지도학습 전략을 모두 지원할 수 있는가?

주요 결과

• 제안된 이중 학습 프레임워크는 벤치마크 데이터셋에서 NLU 및 NLG 양쪽의 성능을 크게 향상시키며, 독립적으로 훈련된 기준 모델을 능가한다.
• 문장 또는 프레임 수준의 자동 평가 지표(예: BLEU, ROUGE)를 강화학습 보상으로 사용할 경우 가장 높은 성능를 기록하며, 평가 지표 향향 최적화가 생성 품질 향상에 기여함을 시사한다.
• MADE를 통한 공동 분포 추정을 통한 훈련도 성능 향상을 보이며, 데이터 분포로부터의 암묵적 피드백이 NLU의 강건성 향상에 기여함을 시사한다.
• 토큰 수준의 가능성 신호는 추가적인 이점을 거의 제공하지 않으며, 학습 과정을 이끄는 데 있어 상위 수준의 지표보다 효과가 떨어짐을 시사한다.
• 정성적 분석을 통해 이중 변환 과정에서 정보 손실가 최소화되며, 두 순환 모두에서 의미적 내용이 잘 유지됨을 확인할 수 있다.