[論文レビュー] Rationale in Development Chat Messages: An Exploratory Study

Rana Alkadhi, Teodora Lata+2 more|arXiv (Cornell University)|Apr 27, 2017

Software Engineering Research参考文献 33被引用数 12

ひとこと要約

本研究では、コンテンツ分析および機械学習を用いて、ソフトウェア開発チームのチャットメッセージを、根拠（正当化、意思決定、設計上の妥当性の検討）という豊富で未利用の情報源として調査する。機械学習がチャットメッセージ内の根拠を、最大0.88の再現率で効果的に検出でき、非関連メッセージを0.98の再現率でフィルタリングできることを示しており、非公式なチームコミュニケーションからスケーラブルに開発知識を抽出することが可能である。

ABSTRACT

Chat messages of development teams play an increasingly significant role in software development, having replaced emails in some cases. Chat messages contain information about discussed issues, considered alternatives and argumentation leading to the decisions made during software development. These elements, defined as rationale, are invaluable during software evolution for documenting and reusing development knowledge. Rationale is also essential for coping with changes and for effective maintenance of the software system. However, exploiting the rationale hidden in the chat messages is challenging due to the high volume of unstructured messages covering a wide range of topics. This work presents the results of an exploratory study examining the frequency of rationale in chat messages, the completeness of the available rationale and the potential of automatic techniques for rationale extraction. For this purpose, we apply content analysis and machine learning techniques on more than 8,700 chat messages from three software development projects. Our results show that chat messages are a rich source of rationale and that machine learning is a promising technique for detecting rationale and identifying different rationale elements.

研究の動機と目的

• ソフトウェア開発チームが使用する非公式なチャットメッセージにおける根拠の頻度と完全性を調査すること。
• 機械学習技術を用いてチャットメッセージ内の根拠要素を自動検出・分類する可能性を評価すること。
• 非構造的でリアルタイムのチームコミュニケーションから、内的な開発知識を自動抽出する手法の可能性を評価すること。
• チャットメッセージが、しばしば管理コストのため活用されない公式な根拠文書の代替として実用的であるという実証的証拠を提供すること。

提案手法

• 3つのソフトウェア開発プロジェクトの8,702件のチャットメッセージに対してコンテンツ分析を実施し、問題、代替案、賛否の議論、意思決定などの根拠要素を手動でラベル付けした。
• 手動ラベル付け済みデータセットを用いて、根拠検出および分類のための複数の機械学習モデルを訓練および評価した。
• 教師あり学習手法を用い、2段階の粒度でメッセージを分類した：(1) 根拠の有無、(2) 特定の根拠要素の特定。
• チャットメッセージからの言語的および構造的特徴を、機械学習モデルの入力として使用し、非公式で短い形式のコミュニケーション様式に焦点を当てた。
• 検出および分類の正確性を評価するために、標準的な指標（精度、再現率、F1スコア）を用いてモデルの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア開発のチャットメッセージには、どの程度の頻度で根拠要素が含まれているか？
• RQ2 これらのメッセージに記録された根拠はどの程度完全で、どのような種類の根拠要素が最も一般的か？
• RQ3 機械学習技術は、非公式なチャットコミュニケーションにおける根拠を含むメッセージを効果的に検出できるか？
• RQ4 機械学習モデルは、問題、代替案、賛否の議論、意思決定などの特定の根拠要素を正確に分類できるか？

主な発見

• チャットメッセージには、44.7%のメッセージが少なくとも1つの根拠要素を含んでおり、開発知識の豊富な情報源であることが示された。
• 機械学習モデルは、根拠を含むメッセージを検出する際、最大0.88の再現率を達成し、自動抽出の可能性が顕著に示された。
• 根拠を含まないメッセージをフィルタリングする際も、最大0.98の再現率を達成し、大規模なメッセージコーパスにおけるノイズを顕著に低減できた。
• 問題、代替案、賛否の議論、意思決定などの根拠要素の細分化分類は実現可能であり、さまざまなモデルで有望な性能が得られた。
• 結果から、非公式なチャットコミュニケーションは、ソフトウェア開発の根拠を記録および再利用するための実用的で、未だに活用が不十分な媒体であることが示唆された。