[논문 리뷰] A Retrieve-and-Edit Framework for Predicting Structured Outputs

Tatsunori Hashimoto, Kelvin Guu외 2명|arXiv (Cornell University)|2018. 12. 04.

Software Engineering Research인용 수 102

한 줄 요약

이 논문은 입력에 기반해 학습 예시를 먼저 검색하고 이를 편집하여 구조화된 출력을 생성하는 검색-편집 방식으로, 손으로 만든 메트릭이나 공동 검색자-편집기 훈련 없이도 효율적인 학습이 가능하다.

ABSTRACT

For the task of generating complex outputs such as source code, editing existing outputs can be easier than generating complex outputs from scratch. With this motivation, we propose an approach that first retrieves a training example based on the input (e.g., natural language description) and then edits it to the desired output (e.g., code). Our contribution is a computationally efficient method for learning a retrieval model that embeds the input in a task-dependent way without relying on a hand-crafted metric or incurring the expense of jointly training the retriever with the editor. Our retrieve-and-edit framework can be applied on top of any base model. We show that on a new autocomplete task for GitHub Python code and the Hearthstone cards benchmark, retrieve-and-edit significantly boosts the performance of a vanilla sequence-to-sequence model on both tasks.

연구 동기 및 목표

• 복잡한 출력은 처음부터 생성하는 것이 어렵고 기존 출력을 편집하는 것이 더 쉬울 수 있다는 점을 동기화한다.
• 손으로 만든 메트릭 없이 입력을 태스크 특성에 맞게 임베드하는 검색 기반 프레임워크를 제안한다.
• 구조화된 출력에 대해 어떤 기본 모델 위에도 적용 가능한 일반화 가능한 방법을 가능하게 한다.

제안 방법

• 입력 설명을 바탕으로 학습 예시를 검색한다.
• 검색된 예시를 편집하여 목표 구조화된 출력을 생성한다.
• 손으로 만든 메트릭 없이 태스크 의존적인 방식으로 입력을 임베딩하는 검색 모델을 학습한다.
• 프레임워크가 모델에 의존하지 않는다는 것을 보여주고 기본 시퀀스-투-시퀀스 모델을 보강할 수 있음을 시연한다.

실험 결과

연구 질문

• RQ1 검색-편집이 기본 시퀀스-투-시퀀스 모델의 구조화된 출력 태스크에서 성능을 향상시킬 수 있는가?
• RQ2 핸드크래프트 메트릭 없이 학습된 태스크 의존적 검색 임베딩이 실용적 이점을 제공하는가?
• RQ3 다양한 도메인과 기본 모델에서 프레임워크가 효과적인가?

주요 결과

• Retrieve-and-edit는 GitHub Python 코드 자동완성 태스크에서 일반 시퀀스-투-시퀀스 모델의 성능을 크게 향상시킨다.
• Retrieve-and-edit는 Hearthstone 카드 벤치마크의 결과도 개선한다.
• 이 방법은 공동 검색자-편집기 훈련 없이 검색을 도입하는 계산 효율적 방법을 제공한다.