[논문 리뷰] Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention

Yang Liu, Sujian Li|arXiv (Cornell University)|2016. 09. 20.

Topic Modeling참고 문헌 26인용 수 8

한 줄 요약

이 논문은 은유적 논의 관계를 인식하기 위해 반복 독서를 모방하는 다수준 주의 메커니즘을 갖춘 신경망(NNMA)을 제안한다. 이는 문단 쌍의 점진적으로 구체화되는 단어들에 대해 반복적으로 집중함으로써 인간의 반복 독서 방식을 모방하는 순환 신경망 아키텍처이다. 양방향 LSTM, 다수준 주의, 외부 단기 기억을 조합함으로써 NNMA는 PDTB 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 동적인 점진적 특징 활용을 통해 이전 방법들을 능가한다.

ABSTRACT

Recognizing implicit discourse relations is a challenging but important task in the field of Natural Language Processing. For such a complex text processing task, different from previous studies, we argue that it is necessary to repeatedly read the arguments and dynamically exploit the efficient features useful for recognizing discourse relations. To mimic the repeated reading strategy, we propose the neural networks with multi-level attention (NNMA), combining the attention mechanism and external memories to gradually fix the attention on some specific words helpful to judging the discourse relations. Experiments on the PDTB dataset show that our proposed method achieves the state-of-art results. The visualization of the attention weights also illustrates the progress that our model observes the arguments on each level and progressively locates the important words.

연구 동기 및 목표

• 명시적 접속어가 없는 은유적 논의 관계를 인식하는 데 있어, 텍스트에 대한 깊이 있고 다중 패assing 분석이 요구되는 도전 과제를 해결하기 위해.
• 단일 패assing 독서 모델이 문단 쌍 내에서 미묘하고 맥락에 따라 달라지는 신호를 동적으로 식별하지 못하는 데서 기인하는 문제를 개선하기 위해.
• 다중 처리 패assing 동안 중요한 단어들에 점차 집중함으로써 인간과 유사한 반복 독서를 시뮬레이션하기 위해.
• 다양한 주의 수준 간에 표현을 저장하고 개선하기 위해 외부 기억을 사용하여 특징 추출을 향상시키기 위해.
• PDTB 벤치마크에서 은유적 논의 관계 분류 작업에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 모델은 각 문단을 일반 수준에서 인코딩하기 위해 양방향 LSTMs를 사용하여 전반적인 맥락 표현을 캡처한다.
• 다중 주의 수준을 순환 방식으로 스택하여 반복 독서를 시뮬레이션하며, 각 수준에서 핵심 단어에 대한 집중을 정교화한다.
• 각 주의 수준에서 소프트 주의 메커니즘이 문단 시퀀스에 대해 단어 중요도 가중치를 계산하여 관련 내용을 강조한다.
• 외부 단기 기억은 이전 수준의 정보를 저장하고 주의 업데이트를 안내함으로써 표현의 점진적 정교화를 가능하게 한다.
• 최고 수준의 주의 수준에서 생성된 최종 표현은 소프트맥스 분류기를 사용하여 논의 관계를 분류하는 데 사용된다.
• 전체 아키텍처는 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 논의 관계 예측을 최적화한다.

실험 결과

연구 질문

• RQ1 반복 독서를 시뮬레이션하는 신경망 아키텍처가 은유적 논의 관계 인식 성능을 향상시킬 수 있는가?
• RQ2 어느 단어나 어구가 은유적 논의 관계를 가장 잘 예측하는가, 그리고 다중 처리 패assing을 통해 이들을 동적으로 식별할 수 있는가?
• RQ3 외부 기억의 통합이 논의 관계 분류에서 특징 학습과 주의 집중을 어떻게 향상시키는가?
• RQ4 점진적 정교화를 갖춘 다수준 주의가 은유적 논의 신호를 포착하는 데 있어 단일 패assing 주의 메커니즘을 능가하는가?
• RQ5 주의 시각화를 통해 모델이 의미적으로 중요한 관계 정의어를 점차적으로 집중하는 것으로 확인할 수 있는가?

주요 결과

• 제안된 NNMA 모델은 은유적 논의 관계 분류 작업에서 PDTB 데이터셋에서 최신 기술 수준의 성능를 달성한다.
• 주의 가중치의 시각화 결과, 모델이 수준 간에 일반적인 내용에서 관계 정의어가 되는 특정 단어들로 점차 집중을 옮기는 것으로 확인된다.
• 모델은 '확장되며 빠르게'와 '부정적인 이미지'와 같은 핵심 단서를 비교 관계의 주요 지표로 성공적으로 식별한다.
• 외부 단기 기억의 사용은 다수준 주의 수준 간에 효과적인 지식 보존을 가능하게 하여 표현 품질을 향상시킨다.
• 다양한 주의 수준 간의 동적 반복 정교화를 허용함으로써 다수준 주의 메커니즘이 단일 패assing 주의보다 뛰어난 성능을 내는 것을 확인하였다.
• 모델은 논의 접속어가 없을 경우에도 맥락의 의미적 단서에 의존함으로써 은유적 관계를 안정적으로 식별하는 데 성공하였다.