[論文レビュー] NL2Bash: A Corpus and Semantic Parser for Natural Language Interface to the Linux Operating System

Xi Lin, Chenglong Wang+2 more|arXiv (Cornell University)|Feb 25, 2018

Natural Language Processing Techniques参考文献 34被引用数 26

ひとこと要約

本稿では、9,305件のエキスパートが作成した自然言語記述と実際のBashコマンドをペairedした大規模なデータセットNL2Bashを紹介するとともに、ベースラインとなるニューラル意味解析モデルを提示する。サブトークンの粒度とCopyNetアーキテクチャを用いることで、トップ1のコマンド構造正答率は49%に達し、完全なコマンド正答率は36%に達する。これは、Linuxシェルに対する自然言語インターフェースの強固な基盤を確立するものである。

ABSTRACT

We present new data and semantic parsing methods for the problem of mapping English sentences to Bash commands (NL2Bash). Our long-term goal is to enable any user to perform operations such as file manipulation, search, and application-specific scripting by simply stating their goals in English. We take a first step in this domain, by providing a new dataset of challenging but commonly used Bash commands and expert-written English descriptions, along with baseline methods to establish performance levels on this task.

研究の動機と目的

• Linuxにおけるファイル操作や検索などのシステム管理タスクの自然言語プログラミングを可能にすること。
• 自然言語記述と実際のBashコマンドをペアにした大規模かつ高品質なデータセットの作成。
• シェルコマンド生成という挑戦的な分野における意味解析のベースラインパフォーマンスの確立。
• 高頻度の未知語出現率を示す複雑で不規則な構文ドメインにおけるニューラルモデルの評価。

提案手法

• フォーラム、チュートリアル、教育教材などの実世界のソースから、9,305件の英語-コマンドペアのコーパスを構築した。
• 135種類の一般的に使用されるBashユーティリティを選定し、範囲内の構文（単一コマンド、パイプライン、コマンド置換、論理演算子）に制限した。
• 標準的なSeq2Seq、CopyNet、段階的処理を行うTellinaモデルを含む、ニューラルシーケンス・トゥ・シーケンスモデルを適用した。
• 珍しいまたは未学習のコマンドトークンの処理を改善し、一般化性能を向上させるために、サブトークンの粒度を用いた。
• コマンド構造のトップ1正答率と完全なコマンド文字列のトップ1正答率を用いてモデルを評価した。
• 品質管理とエキスパートのアノテーションを実施し、自然言語記述の信頼性を確保した。

実験結果

リサーチクエスチョン

• RQ1 高頻度の未知語出現率を示す複雑で不規則な構文のBashコマンドに対して、ニューラル意味解析モデルは一般化できるか？
• RQ2 サブトークンの粒度は、シェルコマンドの意味解析において性能にどのように影響するか？
• RQ3 現在のニューラルモデルがNL2Bashベンチマークで達成できるパフォーマンスの上限は何か？
• RQ4 この挑戦的な分野において、CopyNetモデルは段階的処理を行うTellinaモデルと比較してどう異なるか？
• RQ5 大規模でエキスパートがアノテートした実世界のBashコマンドデータセットは、将来的な自然言語からコードへの研究のための実用的ベンチマークとして成立するか？

主な発見

• NL2Bashデータセットには、100種類以上の固有のBashユーティリティと7,790語以上の固有語彙をカバーする9,305件の高品質な英語-コマンドペアが含まれている。
• サブトークンの粒度を用いたCopyNetが、前処理・後処理が少ないにもかかわらず、段階的処理を行うTellinaモデルを上回る最高のパフォーマンスを達成した。
• トップ1のコマンド構造正答率は49%に達し、トップ1の完全コマンド正答率は36%に達した。
• このデータセットは、従来の意味解析ベンチマークと比較して、はるかに大規模かつ多様である。多くの既存のデータセットと比較して2〜10倍の規模である。
• 結果から、現在のモデルは適切に設計されたインターフェースでは実用的であることが示されたが、今後のイノベーションの余地が依然として大きいことが明らかになった。
• このデータセットは公開されており、Bash以外のコマンドラインシェルへの一般化も可能である。