[논문 리뷰] From Solving a Problem Boldly to Cutting the Gordian Knot: Idiomatic Text Generation

Jianing Zhou, Hongyu Gong외 2명|arXiv (Cornell University)|2021. 04. 13.

Natural Language Processing Techniques참고 문헌 39인용 수 8

한 줄 요약

이 논문은 문장의 직역 표현을 관용어 표현으로 변환하는 새로운 작업—관용어 문장 생성—을 소개한다. 이 작업은 세 단계의 파ipeline을 통해 수행되며, 관용어 검색, 스파니드 추출, 지도 기반 텍스트 생성을 포함한다. 제안된 Guided CopyNet 모델은 자동 평가와 인간 평가에서 강력한 베이스라인을 능가하며, 876개의 직역-관용어 쌍으로 구성된 새로운 데이터셋에서 뛰어난 성능과 해석 가능성(해석 가능성)을 입증한다.

ABSTRACT

We study a new application for text generation -- idiomatic sentence generation -- which aims to transfer literal phrases in sentences into their idiomatic counterparts. Inspired by psycholinguistic theories of idiom use in one's native language, we propose a novel approach for this task, which retrieves the appropriate idiom for a given literal sentence, extracts the span of the sentence to be replaced by the idiom, and generates the idiomatic sentence by using a neural model to combine the retrieved idiom and the remainder of the sentence. Experiments on a novel dataset created for this task show that our model is able to effectively transfer literal sentences into idiomatic ones. Furthermore, automatic and human evaluations show that for this task, the proposed model outperforms a series of competitive baseline models for text generation.

연구 동기 및 목표

• 자연어 생성 분야에서 관용어 표현의 자동 생성에 대한 연구 부족을 해결하기 위해.
• 원래 의미와 맥락을 유지하면서 직역 문장을 관용어 문장으로 변환하는 방법을 개발하기 위해.
• 학습 및 평가를 위한 876개의 직역-관용어 문장 쌍으로 구성된 새로운 평행 데이터셋을 구축하기 위해.
• 관용어 재작성에 있어 파이프라인 기반 모델과 엔드 투 엔드 신경망 생성 모델의 효과성을 평가하기 위해.
• 모듈화된, 인지 과학에 영감을 받은 설계를 통해 텍스트 생성 모델의 성능과 해석 가능성(해석 가능성)을 향상시키기 위해.

제안 방법

• 세 단계 파이프라인: (1) 직역 문장과 관용어 정의 간의 의미 유사도를 이용해 사전에 구축된 어휘집에서 의미적으로 일치하는 관용어를 검색하는 검색 모델; (2) 관용어에 해당하는 직역 문장 내 부분 문자열(스패닝)을 추출하는 스팬 추출 모델; (3) Guided CopyNet 모델을 사용해 최종 관용어 문장을 생성하는 모델.
• Guided CopyNet 모델는 스팬 추출 모듈의 출력을 명시적으로 활용하여 맥락 복사 정확도를 높이고, 관용어를 적절한 형태로 삽입하도록 안내한다.
• 검색 모델은 직역 어휘와 관용어 정의 간의 의미 유사도를 이용해 후보 관용어를 선정한다.
• 스패닝 추출 모델은 관용어로 대체되어야 할 직역 문장 내 정확한 부분 문자열을 식별한다.
• 생성 모델은 검색된 관용어와 나머지 맥락을 조합하며, 필요에 따라 형태적 조정을 가한다.
• 시스템은 오직 사전에 저장된 알려진 관용어만 사용할 수 있도록 하여 신뢰성과 해석 가능성(해석 가능성)을 확보한다.

실험 결과

연구 질문

• RQ1 검색, 스팬 추출, 생성을 조합한 파이프라인 접근 방식이 엔드 투 엔드 텍스트 생성 모델보다 관용어 문장 생성에서 더 우수한 성능을 낼 수 있는가?
• RQ2 정신 어휘 사용에 기반한, 인지 과학에 영감을 받은 모듈화된 설계는 관용어 표현 생성에 얼마나 효과적인가?
• RQ3 검색 및 추출 모듈은 직접적인 시퀀스-투-시퀀스 학습에 비해 생성 모델의 성능을 어느 정도 향상시키는가?
• RQ4 다양한 관용어가 유사한 의미를 가질 경우, 제안된 모델은 비합성적 의미를 어떻게 다루는가?
• RQ5 맥락 정보는 직역에서 관용어로의 변환 과정에서 관용어 선택과 스팬 정렬에 어떤 영향을 미치는가?

주요 결과

• 제안된 파이프라인 모델은 자동 평가와 인간 평가 모두에서 경쟁적 기준 모델을 뛰어넘는 성능을 보였다.
• Guided CopyNet 모델은 스팬 추출 예측 결과를 명시적으로 활용함으로써 표준 CopyNet보다 더 뛰어난 성능을 달성했다.
• 검색 모듈는 비합성적 의미로 인해 의미적으로 유사하지만 잘못된 관용어를 검색할 수 있으며, 예를 들어 'get one’s goat' 대신 'wind up'을 선택하는 경우가 있다.
• 검색 오류가 있음에도 불구하고, 모델는 정확히 추출된 스팬을 관용어로 교체하고 필요에 따라 형태적 조정을 적용함으로써 생성 과정에서 뛰어난 강건성을 보였다.
• 기준 모델들은 직역 문장을 그대로 복사하는 경향이 있어, 직역-관용어 매핑을 학습하는 데 어려움을 겪는다는 점을 보여주었다.
• 876개의 평행 직역-관용어 문장 쌍으로 구성된 데이터셋은 신뢰할 수 있는 평가를 가능하게 하며, 제안된 작업의 실현 가능성을 입증한다.