[논문 리뷰] Speaker-Oriented Latent Structures for Dialogue-Based Relation Extraction

Guoshun Nan, Guoqing Luo외 3명|arXiv (Cornell University)|2021. 09. 11.

Topic Modeling참고 문헌 72인용 수 7

한 줄 요약

이 논문은 대화 기반 관계 추출을 위한 말하는 이 중심의 잠재 구조 모델인 SOLS를 제안한다. 이 모델은 문장 간 관계를 명시적으로 포착하고 말하는 이별로 정규화를 통해 정보 부족 문제를 완화한다. 문장 경계를 넘어서 잠재 구조를 학습하고 말하는 이와 관련된 단서를 강조함으로써, SOLS는 세 개의 공개 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Dialogue-based relation extraction (DiaRE) aims to detect the structural information from unstructured utterances in dialogues. Existing relation extraction models may be unsatisfactory under such a conversational setting, due to the entangled logic and information sparsity issues in utterances involving multiple speakers. To this end, we introduce SOLS, a novel model which can explicitly induce speaker-oriented latent structures for better DiaRE. Specifically, we learn latent structures to capture the relationships among tokens beyond the utterance boundaries, alleviating the entangled logic issue. During the learning process, our speaker-specific regularization method progressively highlights speaker-related key clues and erases the irrelevant ones, alleviating the information sparsity issue. Experiments on three public datasets demonstrate the effectiveness of our proposed approach.

연구 동기 및 목표

• 다양한 말하는 이가 참여한 대화에서 발생하는 복잡한 논리 구조와 정보 부족 문제를 해결하기 위해 다자 대화 기반 관계 추출(DiaRE)에서의 문제를 다루기 위해.
• 여러 문장에 걸쳐 퍼진 토큰 간의 관계를 명시적으로 모델링하여 대화의 구조적 이해를 향상시키기 위해.
• 학습 과정에서 말하는 이 관련 핵심 단서를 점진적으로 강조함으로써 정보 부족 문제를 완화하기 위해.
• 말하는 이의 관련성을 향상시키고 불필요한 정보를 억제하는 정규화 메커니즘을 개발하기 위해.
• 다양한 공개 대화 데이터셋에서 말하는 이 중심의 잠재 구조의 효과성을 입증하기 위해.

제안 방법

• 모델은 문장 경계를 넘어서는 의존성 구조를 학습하여 대화 수준의 관계를 모델링하는 잠재 구조를 학습한다.
• 학습 과정에서 각 말하는 이와 관련된 토큰을 강조하고 불필요한 토큰을 억제하기 위해 말하는 이 별 정규화 방법을 도입한다.
• 잠재 구조 학습 컴포넌트는 서로 다른 말하는 이와 문장 간의 장거리 의존성을 모델링한다.
• 모델은 말하는 이의 신원을 맥락 신호로 통합하여 주의 메커니즘과 표현 학습 과정을 안내한다.
• 표준 관계 추출 손실과 말하는 이 인식 정규화를 결합한 학습 목표를 통해 핵심 단서 탐지 성능을 향상시킨다.
• 주의 메커니즘은 다자 대화 맥락을 처리할 수 있도록 수정되어, 대화 데이터에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 문장 간 관계를 모델링하면 다자 대화에서 관계 추출 성능이 향상되는가?
• RQ2 말하는 이 별 정규화는 정보가 적은 문장에서 관련 단서 탐지에 어떤 영향을 미치는가?
• RQ3 말하는 이 중심의 잠재 구조는 대화 기반 관계 추출에서 얽히고 설킨 논리 문제를 어느 정도 줄이는가?
• RQ4 제안된 방법은 표준 DiaRE 벤치마크에서 기존 모델보다 우수한 성능을 보이는가?
• RQ5 다양한 말하는 이 역학을 가진 다양한 대화 데이터셋에서 모델의 성능은 얼마나 견고한가?

주요 결과

• SOLS는 세 개의 공개 대화 기반 관계 추출 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 모델은 문장 경계를 넘어서 관계를 명시적으로 모델링함으로써 얽히고 설킨 논리의 영향을 크게 줄였다.
• 말하는 이 별 정규화는 학습 과정에서 말하는 이와 관련된 토큰을 강조함으로써 정보 부족 문제를 효과적으로 완화한다.
• 제거 실험 결과, 잠재 구조 학습과 말하는 이 정규화 컴포넌트가 성능 향상에 기여하는 것으로 확인되었다.
• 모델은 다양한 대화 설정에서 일관된 성능 향상을 보이며, 뛰어난 일반화 능력을 보였다.
• 정량적 결과는 기준 모델 대비 F1 점수에서 측정 가능한 향상을 보이며, 제안된 접근의 효과성을 확인한다.