[논문 리뷰] Mark my Word: A Sequence-to-Sequence Approach to Definition Modeling

Timothee Mickus, Denis Paperno외 1명|arXiv (Cornell University)|2019. 11. 13.

Topic Modeling참고 문헌 36인용 수 6

한 줄 요약

이 논문은 정의 모델링을 맥락 인식 생성 작업으로 간주하는 시퀀스-투-시퀀스 Transformer 모델을 제안한다. 입력으로는 목표 어휘가 포함된 문장을 주고, 맥락에 맞는 정의를 생성한다. 맥락 인식 및 비맥락 인식 정의 모델링 양 측면에서 최신 기술 성능(SOTA)을 달성하기 위해 맥락 인코딩과 정의 생성을 종합적으로 엔드 투 엔드로 훈련한다.

ABSTRACT

Defining words in a textual context is a useful task both for practical purposes and for gaining insight into distributed word representations. Building on the distributional hypothesis, we argue here that the most natural formalization of definition modeling is to treat it as a sequence-to-sequence task, rather than a word-to-sequence task: given an input sequence with a highlighted word, generate a contextually appropriate definition for it. We implement this approach in a Transformer-based sequence-to-sequence model. Our proposal allows to train contextualization and definition generation in an end-to-end fashion, which is a conceptual improvement over earlier works. We achieve state-of-the-art results both in contextual and non-contextual definition modeling.

연구 동기 및 목표

• 이전 정의 모델링 접근 방식의 한계를 해결하기 위해, 작업을 단어-시퀀스가 아니라 시퀀스-투-시퀀스로 간주하는 것.
• 정의 생성 과정에 전체 사용 맥락을 통합하여 다의어어의 맥락적 해석을 향상시키기 위한 것.
• 맥락 기반 단어 인코딩과 정의 생성을 엔드 투 엔드로 훈련시켜 모델의 일관성과 성능을 향상시키기 위한 것.
• 정의 모델링을 통해 맥락 인식 및 비맥락 인식 단어 임베딩을 통합 평가할 수 있는 기준 프레임워크를 제공하기 위한 것.
• 저자원 언어 및 복합어 표현으로 모델을 확장할 수 있는지 탐색하기 위해 사전 훈련된 임베딩과 정의 데이터셋만을 사용하는 것.

제안 방법

• 정의 모델링을 시퀀스-투-시퀀스 작업으로 간주: 목표 어휘가 강조된 입력 시퀀스가 주어지면 맥락에 맞는 정의를 생성한다.
• 입력 시퀀스를 모델링하고 출력 정의 시퀀스를 생성하기 위해 Transformer 기반 인코더-디코더 아키텍처를 사용한다.
• 정의어의 사전 훈련된 단어 임베딩을 입력으로 사용하여, 재학습 없이도 임베딩 기반 의미 표현을 유지한다.
• 엔드 투 엔드 훈련을 통해 맥락 인코딩과 정의 생성을 동시에 최적화하여, 모델이 직접 맥락적 종속성을 학습할 수 있도록 한다.
• 표준 시퀀스-투-시퀀스 훈련을 적용하고, 추론 시에는 교차 엔트로피 손실과 빔 서치 디코딩을 사용한다.
• 정의어를 포함한 전체 문장을 인코딩하여 맥락적 신호를 통합함으로써, 고립된 맥락 조각에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 정의 모델링을 시퀀스-투-시퀀스 작업으로 간주할 경우, 단어-투-시퀀스 기준 모델 대비 성능 향상이 이루어지는가?
• RQ2 맥락 인코딩과 정의 생성을 엔드 투 엔드로 훈련하는 것이 파이프라인 접근 방식에 비해 모델 성능에 어떤 영향을 미치는가?
• RQ3 시퀀스-투-시퀀스 모델이 다의어어에 대해 얼마나 잘 맥락에 맞는 정의를 포착할 수 있는가?
• RQ4 모델은 맥락 인식 및 비맥락 인식 정의 모델링 벤치마크에서 어떤 성능을 보이는가?
• RQ5 주요 실패 유형(예: 환각, 편향된 정의)은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 시퀀스-투-시퀀스 모델은 맥락 인식 및 비맥락 인식 정의 모델링 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.
• 기존의 접근 방식, 특히 Gadetsky 등(2018)의 맥락 기반 모델 및 동일 아키텍처의 파이프라인 기반 Select 변형보다 성능이 뛰어나다.
• 모델은 전체 문장 맥락을 활용하여 다의어어의 맥락적 해석을 효과적으로 수행함으로써 뛰어난 성능을 보인다.
• 강력한 결과에도 불구하고, 모델은 환각 현상을 보이며, 예를 들어 '베타'가 20번째 그리스 문자라고 잘못 기재하는 등 분포 기반 표현을 기반으로 한 기반 문제를 드러낸다.
• 모델은 편향되거나 불완전한 정의를 생성할 수 있으며, 예를 들어 '블랙페이스'를 오직 '연극과 관련되거나 그 특성을 지닌다'로만 기술하여 그 혐오스러운 함의를 생략한다.
• 저자들은 분포 기반 단어 임베딩에만 의존할 경우, 환각적이거나 편향된 출력를 탐지하고 걸러내기 위한 보다 나은 도구와 메트릭스가 필요하다고 지적한다.