[論文レビュー] A Retrieve-and-Edit Framework for Predicting Structured Outputs

Tatsunori Hashimoto, Kelvin Guu+2 more|arXiv (Cornell University)|Dec 4, 2018

Software Engineering Research被引用数 102

ひとこと要約

本論文は、入力に基づいて訓練例を最初に取得し、それを編集して構造化出力を生成する retrieve-and-edit アプローチを提案し、手作りの指標やリトリーバとエディターの共同トレーニングなしに効率的な学習を実現する。

ABSTRACT

For the task of generating complex outputs such as source code, editing existing outputs can be easier than generating complex outputs from scratch. With this motivation, we propose an approach that first retrieves a training example based on the input (e.g., natural language description) and then edits it to the desired output (e.g., code). Our contribution is a computationally efficient method for learning a retrieval model that embeds the input in a task-dependent way without relying on a hand-crafted metric or incurring the expense of jointly training the retriever with the editor. Our retrieve-and-edit framework can be applied on top of any base model. We show that on a new autocomplete task for GitHub Python code and the Hearthstone cards benchmark, retrieve-and-edit significantly boosts the performance of a vanilla sequence-to-sequence model on both tasks.

研究の動機と目的

• 複雑な出力をゼロから生成する難しさと既存の出力を編集することの潜在的な容易さを動機付ける。
• 手作りの指標なしにタスク特化の方法で入力を埋め込む Retrieval ベースのフレームワークを提案する。
• 任意のベースモデル上で構造化出力に適用できる一般化可能な方法を実現する。

提案手法

• 入力の説明に基づいて訓練例を取得する。
• 取得した例を編集してターゲットの構造化出力を生成する。
• リトリーバをエディタと jointly training せずに、タスク依存の方法で入力を埋め込むリトリーバモデルを学習する。
• フレームワークがモデルに依存しないことを実証し、ベースの系列 to 系列モデルを拡張できることを示す。

実験結果

リサーチクエスチョン

• RQ1 retrieve-and-edit が、構造化出力タスクにおける Vanilla の sequence-to-sequence モデルの性能を改善できるか。
• RQ2 手作りの指標を持たない学習済みのタスク依存リトリーバ埋め込みが実用的な利点を提供するか。
• RQ3 このフレームワークは異なるドメインやベースモデルで効果的か。

主な発見

• retrieve-and-edit は、GitHub の Python コード自動補完タスクにおける Vanilla の sequence-to-sequence モデルの性能を大幅に向上させる。
• retrieve-and-edit は Hearthstone カードのベンチマークの結果も改善する。
• この手法は、リトリーバとエディタの共同トレーニングを行わずにリトリーブを組み込む計算的に効率的な方法を提供する。