[論文レビュー] Is AI different for SE

Amritanshu Agrawal, Tim Menzies|arXiv (Cornell University)|Dec 9, 2019

Software Engineering Research参考文献 61被引用数 4

ひとこと要約

この論文は、ソフトウェア工学（SE）向けに設計されたAIツールが、汎用AIツールと根本的に異なるかどうかを調査している。120のデータセット（SE固有のタスク、例えば欠陥予測やバグレポート分析を含む）を用いてSE最適化ツールをテストした結果、稀で発生頻度の低い問題（例：エッジケースバグ）に対してSEツールは一般のAI手法を上回るが、一般的なAIベンチマークでは失敗することが判明した。主な貢献は、稀な出来事に対してはSE特化ツールを使用し、頻度の高いターゲットに対しては避けるという単純なルールの提示であり、SEの独自なデータ特性に適合したAIツールの開発の必要性を強調している。

ABSTRACT

What AI tools are needed for SE? Ideally, we should have simple rules that peek at data, then say use this or use that To find such a rule, we explored 120 different data sets addressing numerous problems, including bad smell detection, predicting Github issue close time, bug report analysis, defect prediction and dozens of other non-SE problems. To this data, we apply a SE-based tool that (a)~out-performs the state-of-the-art for these SE problems yet (b)~fails very badly on standard AI problems. In those results, we can find a simple rule for when to use/avoid the SE-based tool. SE data is often about infrequent issues, like the occasional defect, or the rarely exploited security violation, or the requirement that holds for one special case. But as we show, standard AI tools work best when the target is relatively more frequent. Also, we can exploit these special properties of SE, to great effect (to rapidly find better optimizations for SE tasks via a tactic called dodging, explained in this paper). More generally, this result says we need a new kind of SE research for developing new AI tools that are more suited to SE problems.

研究の動機と目的

• ソフトウェア工学（SE）向けに設計されたAIツールが、汎用AIツールと顕著に異なるかどうかを特定すること。
• SE特化ツールが一般のAIアプローチと比較して、どのような条件下で優位性を示すか、あるいは劣位に回るかを特定すること。
• SE問題が一般的なAI問題と根本的に異なるデータ特性を解明すること。
• データ特性に基づいて、SEベースのツールと一般AIツールの間で選択するための単純な意思決定ルールを構築すること。
• 稀イベント検出に特化したSE向けツールの開発を促進する新しい研究分野を提唱すること。

提案手法

• SE最適化ツールを、SEタスク（例：欠陥予測、問題のクローズ時間予測など）と非SE問題を含む120の多様なデータセットで評価した。
• SEツールの性能を、SEおよび非SEの両方のデータセットで最先端のAIモデルと比較した。
• SEツールは、発生頻度が低いターゲットイベント（例：希少な欠陥、エッジケース違反）のタスクで優れた性能を示すが、ターゲットがより頻繁な標準AIベンチマークでは失敗することが判明した。
• 意思決定ルールを提唱：ターゲットイベントが稀である場合に限り、SEベースのツールを使用すること。
• SEデータの独自の特性を活用することで、迅速にSEツールの性能を向上させる「ダッチング」と呼ばれる新規な最適化技術を導入した。
• クラス不均衡やイベントの希少性といったデータ特性を分析し、SEツールと一般AIツールの性能格差を説明した。

実験結果

リサーチクエスチョン

• RQ1 SE最適化AIツールが、どのような条件下で汎用AIモデルを上回るのか。
• RQ2 イベント頻度やクラス不均衡といったデータ特性が、SE特化ツールと一般AIツールの性能にどのように影響を与えるか。
• RQ3 ターゲットイベントの発生頻度に基づいて、SEベースのツールを一般AIアプローチと比較して選択するための単純なルールを導出可能か。
• RQ4 SEデータにどのような特性があるため、一般のAI学習データとは根本的に異なるのか。
• RQ5 SE特化データの特性をどのように活用してツールの性能を向上させられるか、特に「ダッチング」技術によって実証された事例を示す。

主な発見

• SEベースのツールは、欠陥予測やバグレポート分析といったSE固有のタスクで、最先端のAIモデルを顕著に上回る性能を示した。
• SE問題に対して優れた性能を発揮する一方で、標準AIベンチマークでは性能が著しく低く、一般的なAIデータ分布とは不整合があることが示された。
• 主な差異要因はイベント頻度である：SEツールは稀なイベント（例：まれに発生する欠陥）に対して優れた性能を発揮するが、一般的なAIツールはより頻繁なターゲットに対して優位性を示す。
• 単純なルールが浮き彫りになった：ターゲットイベントが稀である場合にはSEベースのツールを使用し、ターゲットが比較的頻繁である場合には避けるべきである。
• 「ダッチング」と呼ばれる最適化戦略は、SEデータに特有の性質（希少だが重要な問題）を活用することで、SEツールの性能を効果的に向上させた。
• 結果から、一般向けAIツールは、頻度の高いバランスの取れたデータに依存しているため、多くのSE問題に対して不適切であることが示唆され、SE特化型AIツールの新分野の開発が不可欠である。