[論文レビュー] A Systematic Literature Review of Automated Query Reformulations in Source Code Search.

Mohammad Masudur Rahman, Chanchal K. Roy|arXiv (Cornell University)|Aug 22, 2021

Software Engineering Research参考文献 170被引用数 4

ひとこと要約

本システマティックレビューでは、70件のコード検索における自動クエリ再定式化に関する一次研究を分析し、語彙の不一致や評価の弱さといった主要な制限を明らかにした。語彙の不一致や弱い評価といった問題に加え、一般化可能性や開発者の負担に関する重要なギャップを指摘し、開発者のコード検索効率を向上させるための今後の研究方向性を提示した。

ABSTRACT

Software developers often fix critical bugs to ensure the reliability of their software. They might also need to add new features to their software at a regular interval to stay competitive in the market. These bugs and features are reported as change requests (i.e., technical documents written by software users). Developers consult these documents to implement the required changes in the software code. As a part of change implementation, they often choose a few important keywords from a change request as an ad hoc query. Then they execute the query with a code search engine (e.g., Lucene) and attempt to find out the exact locations within the software code that need to be changed. Unfortunately, even experienced developers often fail to choose the right queries. As a consequence, the developers often experience difficulties in detecting the appropriate locations within the code and spend the majority of their time in numerous trials and errors. There have been many studies that attempt to support developers in constructing queries by automatically reformulating their ad hoc queries. In this systematic literature review, we carefully select 70 primary studies on query reformulations from 2,970 candidate studies, perform an in-depth qualitative analysis using the Grounded Theory approach, and then answer six important research questions. Our investigation has reported several major findings. First, to date, eight major methodologies (e.g., term weighting, query-term co-occurrence analysis, thesaurus lookup) have been adopted in query reformulation. Second, the existing studies suffer from several major limitations (e.g., lack of generalizability, vocabulary mismatch problem, weak evaluation, the extra burden on the developers) that might prevent their wide adoption. Finally, we discuss several open issues in search query reformulations and suggest multiple future research opportunities.

研究の動機と目的

• 開発者が効果的なアドホッククエリを提示するのを困難にし、試行錯誤のプロセスが長引く問題に対処すること。
• ソフトウェアメンテナンス作業における検索精度と再現率を向上させるために、自動クエリ再定式化で用いられる手法を特定・分類すること。
• 既存のアプローチの制限を評価すること、特に語彙の不一致、弱い評価手法、一般化可能性の欠如といった点。
• クエリ再定式化システムの開発者による採用を妨げるオープンな問題を特定し、今後の研究機会を提案すること。

提案手法

• 2,970件の候補となる研究を対象としたシステマティックレビューを実施し、事前に定めた包含・除外基準に基づき70件の一次研究を選定した。
• グランド理論アプローチを用いて、選定された研究の詳細な定性的分析を実施し、繰り返し現れるテーマや手法を同定した。
• クエリ再定式化手法を8つの主要なメソッドに分類した：語彙の重み付け、クエリ語の共起分析、Thesaurus照会、その他の手法。
• 評価手法（テストデータセット、メトリクス、再現可能性を含む）に基づき、既存の研究の質と厳密さを評価した。
• 研究結果を統合し、クエリ再定式化の現在のアプローチにおける繰り返し現れる制限と研究ギャップを同定した。

実験結果

リサーチクエスチョン

• RQ1 コード検索における自動クエリ再定式化で用いられる代表的な手法は何か？
• RQ2 現行のクエリ再定式化アプローチには、実世界のソフトウェア開発環境においてどのような主な制限があるか？
• RQ3 現在の研究では、クエリ再定式化手法の有効性をどのように評価しているのか。また、その評価戦略における短所は何か？
• RQ4 開発者がクエリ再定式化システムを採用するのを妨げるオープンな問題や課題は何か？
• RQ5 自動クエリ再定式化の一般化可能性と実用的有用性を向上させるために、今後の研究でどのような方向性が考えられるか？

主な発見

• 語彙の重み付け、クエリ語の共起分析、Thesaurus照会など、8つの主要なメソッドがクエリ再定式化研究で採用されている。
• 既存の研究は、異なるコードベースやプログラミング言語間での一般化可能性に著しい欠如を示している。
• 語彙の不一致問題は、依然として根強い課題であり、クエリ語と関連するコードベース語が一致しない状況が継続している。
• 研究における評価手法はしばしば弱く、標準化されたベンチマーク、再現可能な結果、実世界での検証が不十分に使われている。
• 多くのアプローチが開発者に追加の負担を強いることがあり、手動による設定やドメイン特化のチューニングを要することが、実用的採用を減少させている。
• 進展は見られるものの、多様なソフトウェアシステムにおいて一貫して優れた性能を示す単一のメソッドは存在せず、より強固で適応性のあるソリューションの必要性が示唆されている。