[論文レビュー] The Three Pillars of Machine Programming

Justin Gottschlich, Armando Solar-Lezama+7 more|arXiv (Cornell University)|Mar 20, 2018

Scientific Computing and Data Management参考文献 95被引用数 5

ひとこと要約

本論文は、機械的プログラミングのための概念的枠組みを提示する。その中心となる三本の柱は、意図（自然な入力からの人間の意図の理解）、創出（機械学習を用いたアルゴリズムやシステム部品の自動的作成・最適化）、適応（機械学習を用いたソフトウェアの自律的進化）である。主な貢献は、機械学習を用いたソフトウェア開発および保守の自動化を図る体系的なビジョンであり、専門家でない人々にとってもプログラミングを容易かつ効率的に行えるようにし、低レベルの複雑性を軽減することを目的としている。

ABSTRACT

In this position paper, we describe our vision of the future of machine programming through a categorical examination of three pillars of research. Those pillars are: (i) intention, (ii) invention, and(iii) adaptation. Intention emphasizes advancements in the human-to-computer and computer-to-machine-learning interfaces. Invention emphasizes the creation or refinement of algorithms or core hardware and software building blocks through machine learning (ML). Adaptation emphasizes advances in the use of ML-based constructs to autonomously evolve software.

研究の動機と目的

• Dennardスケーリングの時代後半における、ハードウェアの急速な多様化と複雑化に伴うプログラミングの複雑化と認知的負担を軽減すること。
• 専門的プログラマーに依存するのを減らし、機械が正しいかつ効率的なソフトウェアの作成・最適化・保守を支援できるようにすること。
• 自動プログラミング分野の新たな研究動向を統合する概念的枠組みを構築すること。人間と機械の協働、アルゴリズム的イノベーション、システム進化を焦点とする。
• データプライバシー、ライフサイクル管理、従来のプログラミングシステムと機械学習の統合といった、主な課題を特定し、それらに取り組むこと。
• 非プログラマーおよびドメイン専門家が自然な形で計算的目標を表現でき、機械が自動的に正しいソフトウェアを生成・保守できるようにすること。

提案手法

• 自然言語理解や深層学習の進展を活用し、テキスト、音声、ジェスチャーなどの自然な入力から人間の意図を解釈する。
• プログラム合成や自動推論技術（例：SAT/SMTソルバ）を用いて、高レベルの仕様から正しく構築されたコードを生成する。
• 大規模なコードベースやパフォーマンスデータから学習することで、ハードウェア・ソフトウェア共同設計を含む、新しいアルゴリズムやシステム部品の創出に機械学習を応用する。
• ソフトウェアの動作を監視し、新たなハードウェア、バグ、セキュリティ脆弱性に応じてコードを自律的に進化させる、機械学習ベースの適応メカニズムを開発する。
• 大規模なデータとして、公開コードリポジトリ（例：GitHub）やウェブ埋め込みコード（例：JavaScript）を、モデル学習のための訓練データとして活用する。
• データ、モデル、ソフトウェアのライフサイクル管理を統合し、機械的プログラミングシステムの長期的安定性、セキュリティ、進化を保証する。

実験結果

リサーチクエスチョン

• RQ1 機械的プログラミングシステムは、自然言語やジェスチャーといった人間が使いやすい自然な入力から、ユーザーの意図を効果的に解釈できるか？
• RQ2 どのような機械学習技術が、コードベースやパフォーマンストレースから学習することで、コアアルゴリズムやシステム部品（例：コンパイラ最適化、アクセラレータ）を自動で創出・最適化できるか？
• RQ3 機械学習ベースのシステムは、要件の変化、ハードウェアプラットフォームの変更、または発見された脆弱性に応じて、ソフトウェアを時間経過とともに自律的に適応できるか？
• RQ4 実際のコードと合成コードの両方を訓練データとして使用する場合の影響は何か？また、データ品質とプライバシーをどのように確保できるか？
• RQ5 ハードウェアとソフトウェアエコシステムが進化する中で、機械的プログラミングシステムを継続的かつ持続可能に維持・進化させるために必要なライフサイクル管理戦略は何か？

主な発見

• 深層学習とプログラム合成の統合により、機械は自然な入力からの高レベルのユーザー意図を解釈し、正しくかつ効率的なコードを生成できるようになる。
• 大規模なコードベースやパフォーマンストレースから学習することで、機械学習を用いてコンパイラ最適化やハードウェアアクセラレータなどのアルゴリズムやシステム部品を発見・最適化できる。
• 適応的機械的プログラミングシステムは、機械学習駆動の推論と変換を用いて、バグを自動検出・修正し、脆弱性をパッチ適用し、新しいハードウェアプラットフォームにソフトウェアを再構成できる。
• GitHubのような公開コードリポジトリや、ウェブ上に存在する膨大な量のコードは、機械的プログラミングモデルの訓練に不可欠なデータ基盤を提供する。
• データプライバシーや知的財産権の懸念は依然として深刻な未解決課題であり、特に著作権のあるコードを学習データとして使用したモデルが生成するコードの著作権状態が明確でない点が懸念される。
• データ、モデル、ソフトウェアのライフサイクル管理は、機械的プログラミングシステムの長期的安定性と進化を確保するために不可欠であり、継続的な監視と改善が求められる。