[논문 리뷰] Deep Enhanced Representation for Implicit Discourse Relation Recognition

Hongxiao Bai, Hai Zhao|arXiv (Cornell University)|2018. 07. 13.

Topic Modeling참고 문헌 36인용 수 70

한 줄 요약

이 논문은 단어, 부분어, 맥락 임베딩을 결합한 심층 다중-계층 표현 모델을 제시하여 암시적 담화 관계 인식을 수행하고, 깊은 잔여 bi-attention 인코더를 통해 PDTB 2.0에서 최첨단 결과를 달성했다(11-way 정확도 48%를 넘었고, 4-way F1은 50%를 넘었다).

ABSTRACT

Implicit discourse relation recognition is a challenging task as the relation prediction without explicit connectives in discourse parsing needs understanding of text spans and cannot be easily derived from surface features from the input sentence pairs. Thus, properly representing the text is very crucial to this task. In this paper, we propose a model augmented with different grained text representations, including character, subword, word, sentence, and sentence pair levels. The proposed deeper model is evaluated on the benchmark treebank and achieves state-of-the-art accuracy with greater than 48% in 11-way and $F_1$ score greater than 50% in 4-way classifications for the first time according to our best knowledge.

연구 동기 및 목표

• 여러 텍스트 계층에 걸친 문장-문장 표현을 풍부하게 하여 암시적 담화 관계 인식을 향상시킨다.
• 고정된 단어 임베딩과 함께 서브워드 및 맥락화된 임베딩(ELMo)을 도입하여 표현 품질을 향상시킨다.
• 깊은 잔여 연결을 갖는 bi-attention 인코더를 개발하여 더 풍부한 문장 및 문장-쌍 표현을 학습한다.
• 제안된 모델을 PDTB 2.0에서 평가하여 11-way와 4-way 분류 모두에서 새로운 최첨단 성능을 확립한다.

제안 방법

• 단어 수준 모듈은 토큰 임베딩에 고정된 사전 학습 단어 임베딩, 서브워드 임베딩(BPE와 서브워드 CNN 및 하이웨이 융합)을 통해 얻은 임베딩, 그리고 맥락화된 ELMo 임베딩을 더해 확장한다; 이 세 구성요소를 연결하여 e_i를 형성한다.
• ELMo 표현은 마지막 두 BiLSTM 계층에서 도출되며 차원 축소를 d_c로 수행하기 전 자체 가중 합으로 조정된다.
• 문장 수준 모듈은 잔여 연결이 있는 쌓인 인코더 블록(Conv 또는 BiGRU 기반)을 사용하며, Arg1과 Arg2에 대해 서로 다른 의미 관점을 포착하기 위해 인자별 파라미터를 사용한다.
• 쌍 수준 모듈은 층별 문장 표현 간 이중 주의(bi-attention)를 적용한다; 주의된 특징에 대한 2-최대 풀링으로 o_j를 산출하고, 최종 표현 o는 계층 간으로 연결되어 MLP 분류기의 입력으로 사용된다.
• 두 개의 분류기가 사용된다: 하나는 관계 분류용, 다른 하나는 접속사 분류용(공동 교차 엔트로피 손실로 학습); 총 손실은 Loss_relation + Loss_connective이다.
• 모델은 PDTB 2.0 11-way, 4-way 및 이진 분류에서 평가되며 PDTB-Lin 및 PDTB-Ji 분할을 사용한다; 사전 학습된 ELMo 인코더는 AllenNLP에서 온 것이고; word2vec (Google News) 초기 임베딩은 학습 중 고정된다.

실험 결과

연구 질문

• RQ1 다중 계층 텍스트 표현(단어, 서브워드, 맥락 임베딩)이 암시적 담화 관계 인식을 향상시킬 수 있는가?
• RQ2 더 깊은 잔여 인코더와 쌍 간 bi-attention이 PDTB 2.0에 대한 더 나은 문장-문장 표현을 생성하는가?
• RQ3 Arg1과 Arg2에 대해 서로 다른 매개변수를 사용하는 인자별 인코딩이 인자별 의미를 포착하는 데 유리한가?
• RQ4 이 작업에서 서브워드 수준 임베딩이 문자 수준 표현에 비해 어떤 기여를 하는가?
• RQ5 훈련 중 접속사 공동 예측이 암시적 관계 분류 성능을 더 향상시킬 수 있는가?

주요 결과

• 제안된 모델은 11-way 분류에서 PDTB 2.0의 최첨단 결과를 달성했으며 처음으로 PDTB-Ji 분할에서 48%를 넘는 정확도를 기록했다.
• 또한 4-way 분류의 1단계 감각에서 F1이 50%를 넘는 것을 달성했으며 이는 발표 시점의 새로운 보고 결과이다.
• 소거 연구는 단어 수준 개선(서브워드 및 ELMo)과 잔여 연결이 성능을 크게 향상시키며, Res 1(블록 잔여)이 Res 2(쌍 표현 잔여)보다 더 많은 기여를 한다고 보여준다.
• 서브워드 수준 임베딩이 문자 수준 임베딩보다 이 작업에서 우수하다(인용된 소거 연구에서 47.03% 대 46.37%).
• 인자별 문장 인코더 파라미터가 공유 파라미터보다 더 나은 결과를 낳았다(소거에서 46.29% 대 45.97%).
• 여러 인코더 계층에 걸친 Bi-attention과 계층별 표현의 연결은 분류 성능을 향상시키는 더 풍부한 쌍 표현을 제공한다.]
• table_headers: [
• table_rows:[[
• ? )
• 40.20
• -