[論文レビュー] FACOS: Finding API Relevant Contents on Stack Overflow with Semantic and Syntactic Analysis

Kien Luong, M.A. Hadi+3 more|arXiv (Cornell University)|Nov 13, 2021

Software Engineering Research被引用数 5

ひとこと要約

FACOSは、微調整されたCodeBERTからの意味的理解と、コードスニペットおよび自然言語テキストの構文解析を組み合わせることで、Stack OverflowにおけるAPIリソース検索を向上させる画期的なフレームワークである。FACOSは、学習可能な重み係数を用いて意味的および構文的関連スコアを統合することで、最先端のベースラインであるDATYSよりもF1スコアで13.9%の向上を達成した。

ABSTRACT

Collecting API examples, usages, and mentions relevant to a specific API method over discussions on venues such as Stack Overflow is not a trivial problem. It requires efforts to correctly recognize whether the discussion refers to the API method that developers/tools are searching for. The content of the thread, which consists of both text paragraphs describing the involvement of the API method in the discussion and the code snippets containing the API invocation, may refer to the given API method. Leveraging this observation, we develop FACOS, a context-specific algorithm to capture the semantic and syntactic information of the paragraphs and code snippets in a discussion. FACOS combines a syntactic word-based score with a score from a predictive model fine-tuned from CodeBERT. FACOS beats the state-of-the-art approach by 13.9% in terms of F1-score.

研究の動機と目的

• 意味的および構文的特徴を統合することで、特定のAPIに関連するスレッドをより正確に特定するための文脈に配慮したシステムを開発すること。
• コミュニティが提供する知識を活用して、API推薦や自動ドキュメント補強などの下流タスクを支援すること。
• 複数のAPIが類似した名前を持つ場合に、非公式なStack Overflowの議論においてAPIの参照を明確にできないという課題に対処すること。
• 与えられたAPIメソッドに対して関連するStack Overflowスレッドを、テキストおよびコードの意味的および構文的特徴を活用して検索を改善すること。

提案手法

• FACOSは、コードスニペットにおける完全修飾API型名のグリーディトークンマッチングを実行するDATYS+からの構文的スコアと、微調整されたCodeBERTモデルからの意味的スコアを統合する。
• 意味的コンポonentは、ターゲットAPIのコメントおよび実装コードと、各Stack Overflowスレッドの段落／コードコンテンツとの文脈的類似度を計算する。
• 重み付き統合メカニズムにより、構文的および意味的スコアが学習可能な重み係数を用いて統合され、統合関連スコアが得られる。
• フレームワークは、人間によるスレッド関連性のアノテーションに基づいて関連性が定義された、APIメソッドクエリのベンチマークを用いて評価された。
• アブレーションスタディにより、各コンポーネントの寄与度および重み係数の影響が全体的なパフォーマンスに与える影響が評価された。
• コードスニペットの処理をより効果的にするために、DATYSを拡張したDATYS+に変更し、コード内での構文的マッチングが向上した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: FACOSは、与えられたAPIメソッドの関連するStack Overflowスレッドを検索する際に、最先端のベースライン（DATYS）を上回ることができるか？
• RQ2 RQ2: 意味的および構文的コンポーネントの個々の寄与度は、FACOSの全体的なパフォーマンスにどのように寄与しているか？
• RQ3 RQ3: 意味的および構文的スコアの重み係数のバランスは、FACOSのF1スコアにどのように影響するか？

主な発見

• FACOSは、ベースラインのDATYSよりもF1スコアで13.9%の向上を達成し、APIリソース検索における優れたパフォーマンスを示した。
• 微調整されたCodeBERTに基づく意味的コンポーネントは、APIが文脈的に言及されている関連する段落を特定するうえで顕著な貢献をした。
• 構文的コンポーネント（DATYS+）は、曖昧または省略された参照がある場合でも、コードスニペット内のAPI型名を効果的にマッチングすることで、検索精度を向上させた。
• アブレーションスタディにより、意味的および構文的コンポーネントの両方が不可欠であり、最適な重み係数がF1スコアを最大限に引き上げるバランスを保証することが確認された。
• 学習可能な重みを用いた統合関連スコアメカニズムは、固定または非重み付き統合戦略を上回り、意味的および構文的信号の適応的統合の重要性を示した。