[論文レビュー] Analyzing Web Search Behavior for Software Engineering Tasks

Nikitha Rao, Chetan Bansal+3 more|arXiv (Cornell University)|Dec 19, 2019

Web Data Mining and Analysis参考文献 38被引用数 4

ひとこと要約

本論文は、Bing検索ログを用いてソフトウェア工学（SE）タスクに関するウェブ検索行動の最初の大規模分析を提示する。遠隔教師付き学習を用いてSE関連クエリを93%のF1スコアで分類した。6つの主要な検索意図（API、デバッグ、ハウトゥー、学習、インストール、ナビゲーション）を特定し、SE関連クエリは一般のウェブ検索に比べて効果が低く、より多くの作業を要し、全ウェブ検索トラフィックの2.6%以上を占めていることが判明した。これは、開発者向けに特化した検索ツールの必要性を示している。

ABSTRACT

Web search plays an integral role in software engineering (SE) to help with various tasks such as finding documentation, debugging, installation, etc. In this work, we present the first large-scale analysis of web search behavior for SE tasks using the search query logs from Bing, a commercial web search engine. First, we use distant supervision techniques to build a machine learning classifier to extract the SE search queries with an F1 score of 93%. We then perform an analysis on one million search sessions to understand how software engineering related queries and sessions differ from other queries and sessions. Subsequently, we propose a taxonomy of intents to identify the various contexts in which web search is used in software engineering. Lastly, we analyze millions of SE queries to understand the distribution, search metrics and trends across these SE search intents. Our analysis shows that SE related queries form a significant portion of the overall web search traffic. Additionally, we found that there are six major intent categories for which web search is used in software engineering. The techniques and insights can not only help improve existing tools but can also inspire the development of new tools that aid in finding information for SE related tasks.

研究の動機と目的

• ソフトウェア工学（SE）関連のウェブ検索が一般のウェブ検索と行動的・効果的にどのように異なるかを理解すること。
• ラベル付きデータが不足する中で、スケーラブルな方法でSE関連クエリを大規模に同定する手法を開発すること。
• ツールや検索エンジンの設計を支援するため、SEタスクにおけるユーザーの検索意図の包括的分類を提示すること。
• 成功確率、作業量、デバイスタイプなどの指標に基づき、SE検索意図の分布、人気、トレンドを分析すること。
• より良い検索ツールとパーソナライズされた体験を通じて、開発者の生産性を向上させるための実行可能な知見を提供すること。

提案手法

• ヒューリスティクスとシードキーワードを用いた遠隔教師付き学習を適用し、機械学習分類器を訓練することで、SE関連クエリと非SE関連クエリを区別する。93%のF1スコアを達成した。
• Bingログから100万件の検索セッションを分析し、SE関連クエリと非SE関連クエリの間で、クエリの再定式化、クリックスルーレート、滞在時間の観点から行動を比較した。
• SEクエリの意図分析に基づき、7つの検索意図カテゴリ（API、デバッグ、ハウトゥー、学習、インストール、ナビゲーション、その他）の分類を提唱した。
• クエリパターンとキーワードを用いたヒューリスティクスベースのモデルを開発し、SEクエリを提案された意図カテゴリに自動分類した。
• 600万件のSEクエリを大規模に分析し、人気、成功確率、作業量推定、デバイスタイプ、時間的トレンドの各分野における意図の分布を調査した。
• 時間的、デバイスレベル、セッションベースの分析を用いて、異なる文脈におけるSE検索の行動パターンを解明した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア工学関連の検索クエリおよびセッションは、一般のウェブ検索クエリと比べて、行動的・効果的にどのように異なるか？
• RQ2 ソフトウェア工学タスクのウェブ検索の背後にある支配的なユーザーの意図は何か？
• RQ3 人気、成功確率、作業量などの検索メトリクスが、異なるSE検索意図間でどのように変化するか？
• RQ4 SE検索パターンは、異なるデバイスや1日中の時間帯によってどのように異なるか？
• RQ5 SE関連クエリが全体のウェブ検索トラフィックのどの程度を占めているか？

主な発見

• SE関連クエリは、全ウェブ検索セッションの2.6%以上を占めており、これは顕著でかつ認識が不足しているウェブ検索トラフィックのセグメントであることを示している。
• SE関連クエリは一般のクエリに比べて効果が低く、クエリの再定式化率が高く、クリック数が少なく、滞在時間が短いことから、ユーザーの不満やタスクの困難さが示唆されている。
• API、デバッグ、ハウトゥー、学習、インストール、ナビゲーションの6つの主要な検索意図が、SE検索行動の大部分を占めており、時間的・デバイス的要因で明確なパターンを示している。
• デバッグ、ハウトゥー、API、インストール関連のクエリはデスクトップデバイスでより多く見られ、一方、学習およびナビゲーション関連のクエリはモバイルデバイスでより一般的である。
• 時間的トレンドの分析から、ハウトゥーおよびAPI関連クエリは日中にピークに達するのに対し、インストールおよびナビゲーション関連クエリは時間とともに安定的に増加し、夜間にピークに達することが分かった。これは、タスクの実行タイミングの好みに差があることを示している。
• 本研究は、既存の一般ウェブ検索エンジンがSEタスクには最適でないことを示しており、開発者向けに特化した検索エンジンおよび文脈に応じたツールの必要性を強調している。