[論文レビュー] The Code2Text Challenge: Text Generation in Source Code Libraries

Kyle Richardson, Sina Zarrieß+1 more|Publikationen an der Universität Bielefeld (Universität Bielefeld)|Jul 31, 2017

Software Engineering Research被引用数 3

ひとこと要約

本論文は、ソフトウェアライブラリ内の関数のソースコードから自然言語の説明を生成するための共有課題であるCode2Text Challengeを紹介する。本研究では、意味解析器誘導研究から得られた既存のデータセットを活用し、複数のプログラミング言語および自然言語をカバーするもので、関数のドキュメンテーション生成のためのテキスト生成モデルの学習と評価を実施する。今後、独立したテストセットを提供することで、コードドキュメンテーション生成のベンチマークが可能になると予定されている。

ABSTRACT

We propose a new shared task for tactical data-to-text generation in the domain of source code libraries. Specifically, we focus on text generation of function descriptions from example software projects. Data is drawn from existing resources used for studying the related problem of semantic parser induction (Richardson and Kuhn, 2017b; Richardson and Kuhn, 2017a), and spans a wide variety of both natural languages and programming languages. In this paper, we describe these existing resources, which will serve as training and development data for the task, and discuss plans for building new independent test sets.

研究の動機と目的

• ソフトウェアライブラリ内のデータからテキストへの変換のための共有課題を確立すること。特に関数のドキュメンテーションに焦点を当てる。
• 意味解析器誘導研究から得られた既存のデータセットを、学習および開発リソースとして活用すること。
• 複数言語のプログラミング言語および自然言語の入力をサポートすることで、コードドキュメンテーションにおける多言語間一般化を強化すること。
• 独立したテストセットの設計および計画を行い、コードからテキストへのモデルの公平な評価を可能にすること。
• コードと人間が読みやすいドキュメンテーションを接続することで、ソフトウェア工学における自然言語生成を前進させること。

提案手法

• 本手法は、意味解析器誘導研究（Richardson and Kuhn, 2017a,b）の先行研究から得られた既存のデータセットを、学習および開発データとして活用する。
• 本アプローチは、関数レベルのコード構造を自然言語の説明にマッピングすることに焦点を当て、シーケンス・ツー・シーケンス生成タスクとして扱う。
• フレームワークは複数のプログラミング言語および自然言語をサポートしており、多言語モデルの学習および評価を可能にする。
• 本課題は共有チャレンジとして構造化されており、標準化された評価プロトコルおよび別途リリースされるテストセットを備えている。
• 本手法は、入力がコードスニペットで出力が記述的自然言語コメントである、戦略的データからテキストへの生成に重点を置いている。
• 本システムは拡張可能に設計されており、研究者がさまざまなニューラルシーケンスモデルをコードからテキストへの生成問題に適用できるようにしている。

実験結果

リサーチクエスチョン

• RQ1 既存のモデルは、ソースコードから正確で自然な関数説明を生成するのにどの程度効果的か？
• RQ2 多言語の学習データは、ゼロショットまたはフェイワショット一般化において、コードからテキストへの生成にどの程度寄与するか？
• RQ3 生成されたドキュメンテーションの品質は、ソースコードの複雑さや構造とどの程度相関するか？
• RQ4 多様なプログラミング言語の構造を自然言語の説明に一致させる際の主な課題は何か？
• RQ5 標準化されたテストセットは、コードからテキストへの生成モデル間の再現可能性および比較可能性をどのように向上させるか？

主な発見

• 本論文は、意味解析器誘導研究から得られた既存のデータセットを活用した、コードからテキストへの生成のための共有課題フレームワークを確立した。
• 学習および開発データは複数のプログラミング言語および自然言語をカバーしており、多言語間評価を可能にしている。
• 研究者は、共有課題における偏りのないモデル評価を保証するため、独立したテストセットをリリースする予定である。
• 本チャレンジは、実世界のソフトウェアドキュメンテーション生成におけるニューラルシーケンスモデルのベンチマークを支援するように設計されている。
• 本研究は、再現可能性および多言語対応を重視した、自動ドキュメンテーション生成分野における今後の研究の基盤を提供している。
• 本課題は、正式にINLG 2017の共有課題トラックとして提示されており、学術的認識および標準化の兆しなのである。