[論文レビュー] Source code and data of "so-edit-viz" tool

Sebastian Baltes|arXiv (Cornell University)|Nov 2, 2018

Software Engineering Research参考文献 3被引用数 7

ひとこと要約

本稿では、Stack Overflowの投稿のバージョン履歴を個々のテキストおよびコードブロックのレベルで再構築するオープンデータセットSOTorrentを提示する。134種類の文字列類似度メトリクスを用いて、最適なマッチング戦略を同定し、テキストにはマンハッタンプロファイル距離、コードにはWinnowingベースのフィンガープrint法を採用することで、投稿の進化、編集とコメントの関係、コードクラッシュの分析が可能になった。主な発見として、多くの編集は軽微で初期段階に集中しており、多くのコードスニペットが適切な出典表記やライセンス準拠なしに再利用されていることが明らかになった。

ABSTRACT

Stack Overflow (SO) is the most popular question-and-answer website for software developers, providing a large amount of code snippets and free-form text on a wide variety of topics. Like other software artifacts, questions and answers on SO evolve over time, for example when bugs in code snippets are fixed, code is updated to work with a more recent library version, or text surrounding a code snippet is edited for clarity. To be able to analyze how content on SO evolves, we built SOTorrent, an open dataset based on the official SO data dump. SOTorrent provides access to the version history of SO content at the level of whole posts and individual text or code blocks. It connects SO posts to other platforms by aggregating URLs from text blocks and comments, and by collecting references from GitHub files to SO posts. In this paper, we describe how we built SOTorrent, and in particular how we evaluated 134 different string similarity metrics regarding their applicability for reconstructing the version history of text and code blocks. Based on different analyses using the dataset, we present: (1) insights into the evolution of SO posts, e.g., that post edits are usually small, happen soon after the initial creation of the post, and that code is rarely changed without also updating the surrounding text; (2) a qualitative study investigating the close relationship between post edits and comments, (3) a first analysis of code clones on SO together with an investigation of possible licensing risks. Finally, since the initial presentation of the dataset, we improved the post block extraction and our predecessor matching strategy.

研究の動機と目的

• Stack Overflowの投稿における細分化されたバージョン履歴へのアクセスの欠如が、コードおよびテキストの進化に関する研究を制限しているという問題に対処する。
• 投稿の編集履歴において、個々のテキストおよびコードブロックの履歴を信頼性高く再構築する手法を開発する。
• Stack Overflowにおけるコードクラッシュの影響を分析し、複写されたコードスニペットにおけるライセンスリスクを評価する。
• プラットフォーム上での編集、コメント、投稿の進化の関連性をより深く理解する。
• Stack Overflowの投稿をGitHub やWeb URL などの外部リソースとリンクするオープンで拡張可能なデータセット（SOTorrent）を構築および維持する。

提案手法

• 134種類の文字列類似度メトリクスを評価し、投稿のリビジョン間でのテキストおよびコードブロックのマッチングに最も効果的なものを同定する。
• テキストブロックのマッチングにはプロファイルベースのメトリクスとマンハッタン距離を、コードブロックのマッチングにはフィンガープrintベースのWinnowingアルゴリズムを用いる。
• 曖昧な先行候補を解消するための複数段階のマッチング戦略を開発し、ランダムに選択した投稿サンプルを用いて段階的に最適化する。
• 初期再構築における誤検出（偽陽性）および見逃し（偽陰性）の分析を行い、マッチングの正確性を向上させる。
• テキストブロックおよびコメントからURLを抽出し、GitHubのファイル参照を収集することで、クロスプラットフォーム連携を可能にする。
• 得られたデータセットを用いて、編集パターン、コードクラッシュ検出、ライセンス影響に関する研究課題に答えを導く。

実験結果

リサーチクエスチョン

• RQ1 RQ1: コンテンツ、編集、構造的変更の観点から、Stack Overflowの投稿は時間経過とともにどのように進化するか？
• RQ2 RQ2: 編集されやすい投稿の種別（例：質問 vs. 回答）は何か、また編集頻度に影響を与える要因は何か？
• RQ3 RQ3: 投稿の編集とコメントの間にはどのような相互作用のパターンが見られ、コンテンツの進化とどのように関連しているか？
• RQ4 RQ4: Stack Overflowにおけるコードクラッシュの頻度と性質は何か、またそれらに伴うライセンスリスクおよび保守性リスクは何か？

主な発見

• Stack Overflowの投稿に対する多くの編集は軽微であり、初期の段階に集中しており、急速なコミュニティ主導の精錬が行われていることが示唆される。
• コードブロックの変更は、周囲のテキストの変更が伴わないことがほとんどでないため、編集は通常、孤立したものではなく、全体的に行われていると考えられる。
• マンハッタン距離を用いたプロファイルベースのメトリクスが、テキストブロックリビジョンのマッチングにおいて最も高い正確性を達成した。一方、Winnowingベースのフィンガープリント法は、コードブロックのマッチングにおいて他の手法を上回った。
• Stack Overflow上には、多数のコードスニペットが複数の投稿に再利用されており、コードクラッシュが存在していることが明らかになった。出典表記の欠如により、ライセンスリスクが生じる可能性がある。
• GitHubプロジェクトにおけるコードスニペットの使用の約25％しか、元のSO投稿を適切に出典表記していないため、ライセンス準拠の不備が広範にわたって存在していることが浮き彫りになった。
• データセットの分析から、多くのSO投稿が外部リソースにリンクされており、GitHubプロジェクトが頻繁にSO投稿を参照していることが判明した。これにより、今後のクロスプラットフォームでのコードフローに関する研究が可能になる。