[論文レビュー] Chatbots As Fluent Polyglots: Revisiting Breakthrough Code Snippets

David Noever, Kevin Williams|arXiv (Cornell University)|Jan 5, 2023

Software Engineering Research被引用数 7

ひとこと要約

この論文は、過去50年間の代表的なコードスニペット（電子メールやウェブブラウザなど基盤的なシステムを含む）の分析と改善にAIドリブンのコードアシスタントを用いることを調査している。このアプローチは、大規模言語モデルを活用して難読化されたコードの逆スペル、パフォーマンス改善の提案、ドキュメント生成を実施し、レガシーソフトウェアシステムにおける人間並みのコード理解力とリファクタリング能力を示している。

ABSTRACT

The research applies AI-driven code assistants to analyze a selection of influential computer code that has shaped modern technology, including email, internet browsing, robotics, and malicious software. The original contribution of this study was to examine half of the most significant code advances in the last 50 years and, in some cases, to provide notable improvements in clarity or performance. The AI-driven code assistant could provide insights into obfuscated code or software lacking explanatory commentary in all cases examined. We generated additional sample problems based on bug corrections and code optimizations requiring much deeper reasoning than a traditional Google search might provide. Future work focuses on adding automated documentation and code commentary and translating select large code bases into more modern versions with multiple new application programming interfaces (APIs) and chained multi-tasks. The AI-driven code assistant offers a valuable tool for software engineering, particularly in its ability to provide human-level expertise and assist in refactoring legacy code or simplifying the explanation or functionality of high-value repositories.

研究の動機と目的

• AIドリブンのコードアシスタントが、技術的進歩の象徴的となった歴史的意義のあるコードスニペットを理解し、改善できるかを評価すること。
• 大規模言語モデルが、高い正確性と洞察を伴って難読化されたり、ドキュメントが不足しているコードを逆スペル可能かどうかを評価すること。
• AIを用いてレガシーコードベースを現代のAPIにリファクタリングし、保守性を向上させる可能性を検討すること。
• 説明的文脈が欠落している高価値なソフトウェアリポジトリに対して、自動ドキュメント生成とコメント作成を行うこと。

提案手法

• 研究では、過去50年間における電子メール、ウェブブラウジング、ロボット工学、マルウェアなど、多様な分野から最も影響力のあるコード進歩の半分を対象に選定した。
• AIドリブンのコードアシスタントを用いて、これらのコードスニペットを分析・解説・最適化し、明確性、パフォーマンス、正しさに焦点を当てた。
• 深い推論を要する基本的な検索を超えた、新しいテストケースやサンプル問題の生成を含むアプローチを採用した。
• システムのバグ検出能力、最適化提案、人間が読みやすいドキュメント生成能力を評価した。
• 推論の正確性を向上させるために、チェーン・オブ・チョイスプロンプティングと少数の例示（few-shot）デモンストレーションを用いた反復的コード最適化を実施した。
• 今後の拡張として、大規模コードベースを現代のAPIに自動翻訳する機能や、マルチタスクで連鎖するプログラミングワークフローをサポートする仕組みを想定している。

実験結果

リサーチクエスチョン

• RQ1 AIコードアシスタントは、人間並みの理解力で難読化されたり、ドキュメントが欠落しているレガシーコードを正確に解釈・説明できるか？
• RQ2 AIドリブンのツールは、歴史的意義のあるコードスニペットのパフォーマンスと明確性をどの程度向上させられるか？
• RQ3 事前に人間によるアノテーションがなければ、AIシステムが意味的で正確なドキュメントやコメントを高価値なソフトウェアリポジトリに対して生成できるか？
• RQ4 AIアシスタントは、キーワード検索を超えた推論能力を発揮し、複雑な現実世界のコードベースにおけるバグを特定・是正するのにどの程度効果的か？
• RQ5 AIドリブンのアシスタントは、機能を保持したまま、レガシーコードを現代のAPI規格に自動的にリファクタリングできるか？

主な発見

• AIドリブンのコードアシスタントは、初期の電子メールやウェブプロトコルなど、基盤的システムからの難読化コードを正常に解釈・明確化した。
• 複数の事例で、人間が設計した解決策と同等またはそれを上回るパフォーマンス改善やコード簡略化をAIが提供した。
• 説明コメントが欠落しているコードに対して、文脈に即した意味のあるドキュメントとコメントを生成し、保守性を向上させた。
• AIアシスタントは、基本的な検索を超えた推論能力を示し、深いコード理解を要する複雑なバグ是正や最適化問題を解決した。
• このアプローチは、とりわけ低レベルのシステムソフトウェアにおいて、微妙な論理エラーを特定し、修正案を提示するのに有効であった。
• 本研究は、AIアシスタントがスケールを考慮したレガシーコードベースのリファクタリングと近代化において、ソフトウェアエンジニアにとって実用的なツールである可能性を裏付けた。