[논문 리뷰] Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive Autoencoders

Andrew Drozdov, Pat Verga외 3명|arXiv (Cornell University)|2019. 04. 03.

Natural Language Processing Techniques참고 문헌 32인용 수 26

한 줄 요약

DIORA는 깊이 있는 안쪽-바깥쪽 재귀 오토인코더를 사용하여 원시 텍스트에서 문법적 트리 구조를 유도하고 구성요소의 분산 표현을 학습하는 완전히 비지도 학습 기반의 딥러닝 방법을 제안한다. 동적 프로그래밍을 통해 각 단어를 바깥 쪽 맥락으로부터 재구성하는 오토인코딩 목적함수로 원시 텍스트를 학습함으로써, WSJ와 MultiNLI에서 비지도 이진 구성 구조 분석에서 최신 기준 성능을 달성하였으며, F1 점수는 각각 13.7%, 11.5% 향상되었다.

ABSTRACT

We introduce deep inside-outside recursive autoencoders (DIORA), a fully-unsupervised method for discovering syntax that simultaneously learns representations for constituents within the induced tree. Our approach predicts each word in an input sentence conditioned on the rest of the sentence and uses inside-outside dynamic programming to consider all possible binary trees over the sentence. At test time the CKY algorithm extracts the highest scoring parse. DIORA achieves a new state-of-the-art F1 in unsupervised binary constituency parsing (unlabeled) in two benchmark datasets, WSJ and MultiNLI.

연구 동기 및 목표

• 라벨이 부여된 학습 데이터가 전혀 필요 없이 원시 텍스트에서 문법적 구조를 발견하는 완전히 비지도 방법을 개발하는 것.
• 유도된 파싱 트리 내에서 구성요소(예: 명사구, 동사구 등)에 대한 의미 있는 분산 표현을 학습하는 것.
• 지도 학습이나 복잡한 후처리에 의존하는 기존 방법들을 뛰어넘어 비지도 구성 분석 성능를 향상시키는 것.
• 단지 원시 텍스트에서 학습함으로써 도메인 및 언어 간 일반화 능력을 향상시키는 것.
• 안쪽-바깥쪽 동적 프로그래밍을 사용한 오토인코딩이 언어의 문법적 및 의미적 규칙성을 효과적으로 포착할 수 있는지 탐구하는 것.

제안 방법

• 모델은 문장 내 모든 가능한 이진 트리에 대해 동적 프로그래밍을 사용하여 안쪽 및 바깥쪽 단계를 적용하는 깊이 있는 안쪽-바깥쪽 재귀 오토인코더 아키텍처를 사용한다.
• 안쪽 단계는 학습된 조합 함수를 사용하여 자식 노드의 벡터 표현을 조합하여 부모 노드의 표현을 생성한다.
• 바깥쪽 단계는 부모 노드에서 각 자식 노드로 맥락을 전파하여 내부 노드 표현에 외부 구조적 맥락을 강화한다.
• 모델은 오토인코딩 목적함수를 사용하여 훈련되며, 각 입력 단어를 그 즉각적인 부모 노드의 바깥 표현으로부터 재구성한다. 이는 마스크된 언어 모델링과 유사하다.
• 구성요소 간 호환성 함수는 backpropagation를 통해 엔드 투 엔드로 학습되며, 추론 시에는 CKY 알고리즘을 사용하여 최고 점수를 받는 파싱을 추출한다.
• 모델은 라벨이 부여된 문법적 애너테이션을 전혀 사용하지 않으며, 원시 텍스트와 안쪽-바깥쪽 알고리즘을 통해 구조를 유도한다.

실험 결과

연구 질문

• RQ1 라벨이 부여된 학습 데이터가 전혀 없는 원시 텍스트에서 비지도 딥러닝 모델이 효과적으로 문법적 트리 구조를 발견할 수 있는가?
• RQ2 안쪽-바깥쪽 동적 프로그래밍 프레임워크를 깊이 있는 오토인코더에 효과적으로 통합하여 트리 구조와 구성요소 표현을 동시에 학습할 수 있는가?
• RQ3 자신의 바깥 맥락으로부터 단어를 재구성하도록 학습하는 것이 기존의 비지도 분석 방법보다 더 나은 문법적 구조 유도 성능을 낼 수 있는가?
• RQ4 모델은 다운스트림 작업(예: 청킹)에서 강력한 베이스라인을 뛰어넘는 의미 있는, 의미적으로 일관된 어구 표현을 학습할 수 있는가?
• RQ5 모델의 성능이 뉴스기사(WSJ) 및 자연어 추론(MultiNLI) 데이터와 같은 다양한 도메인 간에 얼마나 잘 일반화되는가?

주요 결과

• DIORA는 구두점 포함 전체 WSJ 데이터셋에서 F1 점수 85.4를 기록하여 이전 비지도 방법 대비 13.7%p의 절대적 향상을 달성하였다.
• WSJ-40 벤치마크에서는 F1 점수 81.6을 기록하여 이전 최신 기준 대비 11.5%p의 절대적 향상을 달성하였다.
• MultiNLI 데이터셋에서는 F1 점수 78.2를 기록하여 이전 최신 기준 대비 7.8%p의 절대적 향상을 달성하였다.
• 강력한 베이스라인 모델보다 높은 세그먼트 재현율을 보이며, 유도된 트리에서 구성요소 스펜의 커버리지가 더 우수함을 나타냈다.
• 학습된 어구 표현은 의미적으로 유의미하며, 다운스트림 청킹 평가 작업에서 강력한 베이스라인을 뛰어넘는 성능을 보였다.
• 정성 분석 결과, DIORA는 종종 바이너리화된 진짜 값과 유사한 파싱을 생성하며, 입자와 동사의 정확한 그룹화를 잘 수행하는 것으로 나타났다.