[論文レビュー] Latent Attention For If-Then Program Synthesis

Xinyun Chen, Chang Liu+3 more|arXiv (Cornell University)|Nov 7, 2016

Parallel Computing and Optimization Techniques参考文献 21被引用数 35

ひとこと要約

本論文では、構文的構造をよりよく捉えるために2段階のプロセスで乗法的注意重みを学習する、Latent Attentionと呼ばれるニューラルアーキテクチャを提案する。自然言語からのIf-Thenプログラム合成の精度を向上させ、先行研究と比較して誤差率を28.57%低減し、辞書ベースの埋め込みと2段階の訓練戦略を用いることで、希少な関数の1ショット学習を効果的に行える。

ABSTRACT

Automatic translation from natural language descriptions into programs is a longstanding challenging problem. In this work, we consider a simple yet important sub-problem: translation from textual descriptions to If-Then programs. We devise a novel neural network architecture for this task which we train end-to-end. Specifically, we introduce Latent Attention, which computes multiplicative weights for the words in the description in a two-stage process with the goal of better leveraging the natural language structures that indicate the relevant parts for predicting program elements. Our architecture reduces the error rate by 28.57% compared to prior art. We also propose a one-shot learning scenario of If-Then program synthesis and simulate it with our existing dataset. We demonstrate a variation on the training procedure for this scenario that outperforms the original procedure, significantly closing the gap to the model trained with all data.

研究の動機と目的

• 自然言語記述からIf-Thenプログラムに翻訳する精度を向上させること。これは、プログラム合成分野における重要な課題である。
• シーケンス・トゥ・シーケンス学習におけるプログラム生成において、多様な語彙や文構造をモデル化する難しさに対処すること。
• 最小限の訓練例で希少なトリガー関数やアクション関数に対する効果的な1ショット学習を可能にすること。
• 自然言語記述における構文的依存関係をよりよく捉える注意メカニズムを設計し、プログラム要素の予測に活用すること。

提案手法

• トリガー関数およびアクション関数の予測に適した関連語を強調するために、トークン重みを計算する2段階の注意メカニズムであるLatent Attentionを導入する。
• 入力記述を符号化するために双方向LSTMを用い、その後に潜在的注意層を配置して動的で文脈依存の注意重みを計算する。
• 2段階の訓練手順を採用：まず代理目的関数を用いて注意重みを学習し、その後にエンドツーエンドでモデル全体を微調整する。
• 辞書ベースの埋め込みとLatent Attentionを組み合わせることで、1ショット学習の場面における希少関数の一般化性能を向上させる。
• 標準的および単純な2段階法よりも優れた性能を示す、1ショット学習に特化した修正された訓練戦略を適用する。
• 頻度に基づく引数生成を用いて、コアタスクを関数予測に簡素化し、引数生成は別紙に延期する。

実験結果

リサーチクエスチョン

• RQ1 2段階の注意メカニズムは、標準的な注意メカニズムと比較して、If-Thenプログラム生成におけるプログラム合成精度を向上させることができるか？
• RQ2 Latent Attentionは、自然言語記述からトリガー関数およびアクション関数を予測する際に、構文的構造をどれほど効果的に捉えられるか？
• RQ3 1つまたは数個の訓練例でのみ学習させる1ショット学習の場面において、モデルは希少関数に一般化できるか？
• RQ4 Latent Attentionの2段階訓練手順は、標準的訓練および単純な2段階訓練と比較して、少数派関数の精度と耐障害性の観点から優れているか？

主な発見

• Latent Attentionモデルは、先行研究の最良手法[3]と比較して誤差率を28.57%低減し、トリガーおよびアクション予測で87.5%の精度を達成した。
• 最良のモデル（2段階訓練を施したDict+LA）は、全訓練データの15.73%しか使用しない偏りのあるデータセットで学習した場合、トリガー関数タスクで82.71%の精度を達成した。
• 少数派関数（非トップ100）において、Dict+LAモデルは同じ偏りのある学習設定下で64.84%の精度を達成し、標準的訓練および単純な2段階訓練を著しく上回った。
• スケールドトップ100データセットで学習した場合、ゴールドテストセットにおける少数派関数で78.57%の精度を達成したのに対し、全データセットで学習した場合の85.12%と比較して、わずかに低下したが、少数ショット一般化性能が顕著に優れていた。
• 実証的分析の結果、Latent Attentionは前置詞や標点（例：‘,’ および ‘>’）に高い重みを割り当てており、構文的手がかりに敏感であることが示されたが、一部の意味的に重要なフレーズ（例：‘of me’）を関連する関数と正しく結びつけられない場合もあった。
• 外部知識を必要とするケース（例：Instagramには写真のみが含まれる）では、Dict+LAモデルは一般化に失敗したが、BDLSTM+LAバージョンはより優れた文脈モデリングにより成功した。