[논문 리뷰] Unnatural Language Processing: Bridging the Gap Between Synthetic and Natural Language Data

Alana Marzoev, Samuel Madden외 3명|arXiv (Cornell University)|2020. 04. 28.

Topic Modeling참고 문헌 28인용 수 19

한 줄 요약

이 논문은 자연어 처리를 위한 시뮬레이션에서 실제 환경으로의 전이 프레임워크를 제안한다. 이는 규칙 기반 문법을 통해 생성된 합성 언어 데이터로 모델을 훈련시키고, 사전에 훈련된 문장 임베딩을 사용하여 실제 발화를 합성 언어 공간에 투영시킴으로써 자연어로의 일반화를 달성한다. 이 방법은 자연어 훈련 데이터가 전혀 필요 없이도 의미 분석 및 지시 수행 작업에서 최신 기술 수준의 성능을 달성하며, 일부 경우에서는 인간이 애너테이션한 데이터로 미세조정된 모델를 뛰어넘는 성능을 보인다.

ABSTRACT

Large, human-annotated datasets are central to the development of natural language processing models. Collecting these datasets can be the most challenging part of the development process. We address this problem by introducing a general purpose technique for ``simulation-to-real'' transfer in language understanding problems with a delimited set of target behaviors, making it possible to develop models that can interpret natural utterances without natural training data. We begin with a synthetic data generation procedure, and train a model that can accurately interpret utterances produced by the data generator. To generalize to natural utterances, we automatically find projections of natural language utterances onto the support of the synthetic language, using learned sentence embeddings to define a distance metric. With only synthetic training data, our approach matches or outperforms state-of-the-art models trained on natural language data in several domains. These results suggest that simulation-to-real transfer is a practical framework for developing NLP applications, and that improved models for transfer might provide wide-ranging improvements in downstream tasks.

연구 동기 및 목표

• NLP 응용 프로그램을 위한 대규모 인간 애너테이션된 자연어 데이터셋을 수집하는 데 드는 높은 비용과 어려움을 해결하기 위해.
• 합성 언어 데이터에서 실제 세계의 자연어 발화로의 효과적인 일반화를 가능하게 하기 위해 언어 이해 작업에서.
• 끝에서 끝까지 훈련하는 것의 실용적이고 확장 가능한 대안을 개발하여 광범위한 인간 애너테이션의 필요성을 피하면서도 높은 성능을 유지하기 위해.
• 사전에 훈련된 문장 임베딩을 사용한 투영 기반 전이가 합성에서 실제 NLP 전이에서 표현의 직접 전이보다 우수한 성능을 보일 수 있는지 입증하기 위해.
• 최소한의 애너테이션 노력으로 새로운 도메인에서 기반을 둔 언어 이해 시스템을 구축하기 위한 재사용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 목표 행동(예: 동작, 질의 등)을 자연스러운 발화로 매핑하는 고정밀도 규칙 기반 문법을 사용하여 합성 훈련 데이터를 생성한다.
• 정의된 언어 분포 내에서 발화를 정확히 해석할 수 있도록 이 합성 데이터로 모델을 훈련시킨다.
• 사전에 훈련된 문장 임베딩(BERT 등)을 사용하여 자연어 문장과 합성 문장 간의 의미 유지 거리 측도를 학습한다.
• 추론 시점에 각 자연어 발화가 임베딩 공간에서 가장 가까운 합성 발화로 투영되며, 의미가 유지된다.
• 투영된 합성 발화는 훈련된 모델에 의해 해석되어 실제 세계 언어로의 일반화가 가능해진다.
• 프레임워크는 의미 분석 및 지시 수행 벤치마크에서 평가되며, 투영 메커니즘의 효과를 검증하기 위한 추론 분석이 실시된다.

실험 결과

연구 질문

• RQ1 합성 언어 데이터로만 훈련된 모델이 대규모 자연어 데이터셋으로 훈련된 모델의 성능과 비슷한 성능을 달성할 수 있는가?
• RQ2 문장 임베딩 기반의 투영이 합성 언어 분포에서 자연어 분포로 지식을 전이하는 데 얼마나 효과적인가?
• RQ3 합성 공간에서의 대체어를 찾기 위해 사전에 훈련된 표현을 사용하는 것이 엔드 투 엔드 모델에서 표현을 직접 전이하는 것보다 우수한가?
• RQ4 규칙 기반으로 설계된 합성 데이터와 임베딩 기반 투영을 조합하면 기반 언어 이해에서 인간 애너테이션 데이터의 필요성을 줄일 수 있는가?
• RQ5 데이터 분포의 변화가 시뮬레이션에서 실제 환경으로의 NLP 전이에서 모델의 일반화에 어떤 영향을 미치는가?

주요 결과

• 여덟 개인 의미 분석 데이터셋에서, 이 시뮬레이션에서 실제 환경 전이 방법은 자연어 훈련 데이터 없이도 여덟 개 작업 중 세 개에서 감독 학습된 의미 분석기의 성능을 따라하거나 뛰어넘었다.
• 그리드월드 환경에서 기반 지시 수행 벤치마크에서, 이 방법은 인간 애너테이션 데이터로 미세조정된 표준 모델의 성능을 뛰어넘었다.
• 자연어 발화를 합성 언어 공간에 투영하기 위해 문장 임베딩을 사용함으로써, 분포의 변화가 있음에도 불구하고 고정확도의 해석이 가능했다.
• 합성 데이터에서 자연어 데이터로 사전에 훈련된 표현을 직접 전이하는 것은 합성 공간에서 대체어를 찾기 위해 임베딩을 사용하는 것보다 성능이 열 劣했다.
• 이 프레임워크는 개발자가 오직 합성 데이터와 사전 훈련만을 사용하여 새로운 도메인에서 고정확도 언어 이해 시스템을 구축할 수 있도록 하여 애너테이션 부담을 크게 줄였다.
• 이 방법은 특히 데이터가 부족하거나 상호작용이 필요한 응용 프로그램 환경에서, 시뮬레이션에서 실제 환경으로의 전이가 NLP에서 실현 가능하고 효과적인 패러다임임을 입증한다.