[論文レビュー] OCoR: An Overlapping-Aware Code Retriever

Qihao Zhu, Zeyu Sun+3 more|arXiv (Cornell University)|Aug 12, 2020

Software Engineering Research参考文献 38被引用数 9

ひとこと要約

OCoRは、文字レベルの埋め込みと学習可能な重なり行列を用いて、自然言語の説明とコード識別子の間の重なりを明示的にモデル化することで、コード検索を向上させる新しいニューラルコードリtrieverです。OCoRは最先端の性能を達成し、SQLおよびC#のデータセットにおいて、既存の手法よりも検索精度を13.1%から22.3%向上させています。

ABSTRACT

Code retrieval helps developers reuse the code snippet in the open-source projects. Given a natural language description, code retrieval aims to search for the most relevant code among a set of code. Existing state-of-the-art approaches apply neural networks to code retrieval. However, these approaches still fail to capture an important feature: overlaps. The overlaps between different names used by different people indicate that two different names may be potentially related (e.g., "message" and "msg"), and the overlaps between identifiers in code and words in natural language descriptions indicate that the code snippet and the description may potentially be related. To address these problems, we propose a novel neural architecture named OCoR, where we introduce two specifically-designed components to capture overlaps: the first embeds identifiers by character to capture the overlaps between identifiers, and the second introduces a novel overlap matrix to represent the degrees of overlaps between each natural language word and each identifier. The evaluation was conducted on two established datasets. The experimental results show that OCoR significantly outperforms the existing state-of-the-art approaches and achieves 13.1% to 22.3% improvements. Moreover, we also conducted several in-depth experiments to help understand the performance of different components in OCoR.

研究の動機と目的

• 自然言語の説明とコード識別子の間の意味的重なりを捉えることのできない既存のニューラルコードリtrieバモデルの限界を解決すること。
• 名前同士の重なり部分（例：'Sort' と 'QuickSort'）およびコード識別子と自然言語の語との間の重なり部分（例：'joint_table_b' と 'joint table'）をモデル化すること。
• 重なり特徴を明示的に符号化することで検索の関連性を向上させるニューラルアーキテクチャを設計すること。
• ベンチマークデータセット上でアブレーション実験および比較実験を通じて、重なりに配慮したコンponentsの有効性を示すこと。

提案手法

• 単語や識別子を文字レベルの埋め込みで表現することで、同じ概念を指す異なる名前の間の部分文字列の重なりを捉えることを可能にします。
• 自然言語の説明に含まれる各単語とコードスニペット内の各識別子との間の重なり度合いを測定する、新しい重なり行列を導入します。ここでは最長共通部分列（LCS）を測定基準として用います。
• トランスフォーマーに基づくエンコーダーからの文脈的埋め込みと重なり行列を組み合わせ、表現学習を強化します。
• 複数の検索モデルのアンサンブル学習を実施することで、さらに性能を向上させます。
• 対照的損失を用いてエンドツーエンドでモデルを学習し、関連性の高いコードスニペットを上位にランク付けするように最適化します。

実験結果

リサーチクエスチョン

• RQ1 自然言語の説明とコード識別子の間の部分文字列の重なりを明示的にモデル化することで、コード検索の性能が向上するか？
• RQ2 文字レベルの埋め込みは、開発者が名付けた識別子における重なり部分列を通じて、意味的類似性をどれほど的確に捉えられるか？
• RQ3 LCSに基づく重なり行列は、標準的な埋め込みベースの手法と比較して、どの程度検索精度を向上させるか？
• RQ4 OCoRアーキテクチャのどのコンponentsが性能向上に最も寄与しているか？
• RQ5 提案手法は、SQLおよびC#以外のプログラミング言語にも一般化可能か？

主な発見

• OCoRは、2つの標準的なコードリtrieバデータセットにおいて、最先端のベースライン手法よりも13.1%から22.3%の性能向上を達成しています。
• アブレーションスタディの結果、文字レベルの埋め込みと重なり行列の両方が性能向上に不可欠であることが確認されています。
• 重なり行列は、表記が異なるが意味的に関連する語（例：'msg' と 'message'）を結びつける能力を著しく向上させています。
• 複数のモデルのアンサンブルはさらに性能を向上させており、多様な検索信号を組み合わせることが有益であることが示されています。
• StaQCデータセットでは89.12%のインスタンスが少なくとも1つの重なり部分列を含んでおり、OCoRは重なり頻度の高いコードに対しても良好に一般化しています。
• Python、Java、C++などの他のプログラミング言語への応用可能性も強く示唆されています。