[논문 리뷰] Cooperative Learning of Disjoint Syntax and Semantics

Serhii Havrylov, Germán Kruszewski외 1명|arXiv (Cornell University)|2019. 02. 25.

Topic Modeling참고 문헌 46인용 수 6

한 줄 요약

이 논문은 문법과 의미를 별개의 모듈로 분리한 협동 학습 프레임워크를 제안한다. 이 모델은 혼합된 연속적(기울기 하강법) 및 이산적(강화 학습) 최적화 방식으로 훈련되며, 문맥 자유 문법에서 중첩된 수학적 표현을 파싱할 때 거의 완벽한 정확도를 달성하고, 명시적인 문법적 지도 없이도 NLI 및 감성 분석 작업에서 경쟁력 있는 성능을 보인다.

ABSTRACT

There has been considerable attention devoted to models that learn to jointly infer an expression's syntactic structure and its semantics. Yet, \citet{NangiaB18} has recently shown that the current best systems fail to learn the correct parsing strategy on mathematical expressions generated from a simple context-free grammar. In this work, we present a recursive model inspired by ewcite{ChoiYL18} that reaches near perfect accuracy on this task. Our model is composed of two separated modules for syntax and semantics. They are cooperatively trained with standard continuous and discrete optimization schemes. Our model does not require any linguistic structure for supervision and its recursive nature allows for out-of-domain generalization with little loss in performance. Additionally, our approach performs competitively on several natural language tasks, such as Natural Language Inference or Sentiment Analysis.

연구 동기 및 목표

• 명시적인 파싱 지도 없이도 단순한 문맥 자유 문법에서 정확한 문법적 구조를 학습하는 데에 기존 모델의 한계를 해결한다.
• 이산적 파서와 연속적 조합 함수의 공동 훈련에서 발생하는 공진화 문제를 극복한다.
• 분리된 모듈을 갖춘 재귀적이고 종단 간으로 훈련 가능한 아키텍처를 통해 도메인 외 일반화를 가능하게 한다.
• 자연어 추론 및 감성 분석과 같은 표준 NLP 작업에서 경쟁적인 성능을 보이며, 의미 있는 문법적 구조를 학습한다.
• 잠재적 트리 구조를 갖는 재귀적 모델을 후행 작업을 위한 사전 훈련 방법으로 사용할 수 있는지 탐색한다.

제안 방법

• 모델을 두 가지 별개의 모듈으로 분해한다: 이산적 파서(트리 구조 생성기)와 연속적 조합 함수(의미 표현 학습기).
• 훈련 안정성과 학습 속도 제어를 위해 Proximal Policy Optimization (PPO)를 사용해 파서를 강화 학습으로 훈련한다.
• 입력에 따라 조절되는 제어 변수를 사용해 강화 학습 목표의 기울기 분산을 줄인다.
• 정책 업데이트 당 여러 개의 기울기 스텝을 적용해 샘플 효율성과 정책 학습을 향상시킨다.
• 조합 함수에 대한 기울기 하강법과 파서에 대한 강화 학습을 결합하고, 둘 간의 학습률을 동기화해 공진화를 방지한다.
• 구조를 통해 역전파 가능한 Tree-LSTM을 조합 함수로 사용해, 파arsed 트리로부터 의미 표현을 생성한다.

실험 결과

연구 질문

• RQ1 명시적인 파싱 지도 없이도 공동 훈련 및 종단 간 모델이 단순한 문맥 자유 문법에서 정확한 문법적 구조를 학습할 수 있는가?
• RQ2 이산적(파서)과 연속적(조합 함수) 구성 요소가 서로 지배하지 않도록 어떻게 협동적으로 훈련시킬 수 있는가?
• RQ3 문법과 의미를 분리하면, 더 길거나 알려지지 않은 수학적 표현과 같은 도메인 외 시퀀스로의 일반화가 향상되는가?
• RQ4 잠재적 문법적 구조를 학습함으로써 자연어 처리 작업(예: NLI 및 감성 분석)에서 성능 향상이 어느 정도 이루어지는가?
• RQ5 자연어 데이터에서 훈련할 경우, 모델이 단순한 파싱 전략(예: 왼쪽 분지 트리)으로 수축하는 것을 방지할 수 있는가?

주요 결과

• MultiNLI 벤치마크에서 70.7% ± 0.3의 정확도를 기록하며, 이전의 비지도 잠재 트리 모델을 능가하고 최신 기술 수준의 성능을 달성했다.
• SST-2 및 SST-5 감성 분석 작업에서 각각 90.2% ± 0.2 및 51.5% ± 0.4의 정확도를 기록했으며, 잠재 트리 기반의 이전 RvNN 모델과 동등하거나 이를 초월했다.
• ListOps 작업에서 거의 완벽한 정확도(99.8%)를 달성해, 문맥 자유 문법에서 중첩된 수학적 표현을 정확히 파싱했다.
• 파서는 지도 없이도 균형 잡히고 의미 있는 문법적 구조를 학습했으며, 이는 높은 엔트로피를 보이는 파싱 정책과 더 긴 시퀀스로의 일반화로 입증되었다.
• PPO를 다중 기울기 스텝과 제어 변수와 함께 사용함으로써 공진화 문제를 효과적으로 완화했으며, 파서가 조합 함수를 단순히 모방하는 것을 방지했다.
• 형식적 문법 작업에서는 뛰어난 성능를 보였지만, 자연어 작업에서는 여전히 단순한 파싱 전략으로 회귀하는 경향이 있었으며, 이는 이전 연구 결과와 일치했다.