[論文レビュー] A Transfer Learning Approach for Dialogue Act Classification of GitHub Issue Comments

Ayesha Enayet, Gita Sukthankar|arXiv (Cornell University)|Nov 9, 2020

Team Dynamics and Performance被引用数 6

ひとこと要約

本稿では、大規模なラベル付きGitHubコアグラスが不足していることを踏まえ、事前学習済み埋め込み（GloVe、USE、BERT）を用いた転移学習アプローチを提案し、GitHubのissueコメントにおける会話行動（DA）分類を実現する。Universal Sentence Encoder（USE）が平均F1スコア0.42を達成し、限られたアノテート済みデータでも、issueコメントを認知的チームプロセスにマッピングすることが可能であることを示した。

ABSTRACT

Social coding platforms, such as GitHub, serve as laboratories for studying collaborative problem solving in open source software development; a key feature is their ability to support issue reporting which is used by teams to discuss tasks and ideas. Analyzing the dialogue between team members, as expressed in issue comments, can yield important insights about the performance of virtual teams. This paper presents a transfer learning approach for performing dialogue act classification on issue comments. Since no large labeled corpus of GitHub issue comments exists, employing transfer learning enables us to leverage standard dialogue act datasets in combination with our own GitHub comment dataset. We compare the performance of several word and sentence level encoding models including Global Vectors for Word Representations (GloVe), Universal Sentence Encoder (USE), and Bidirectional Encoder Representations from Transformers (BERT). Being able to map the issue comments to dialogue acts is a useful stepping stone towards understanding cognitive team processes.

研究の動機と目的

• GitHub issueコメントにおける会話行動分類のための大規模ラベル付きデータセットの不足に対処すること。
• 標準的な会話データセットから得た事前学習済み埋め込みを活用する転移学習技術を検討し、リソースが限られたGitHubコメントデータでの性能向上を図ること。
• 特にMacrocognition in Teams Model（MITM）と整合するように、GitHub issueコメントを認知的チームプロセスにマッピングすること。
• 今後のチーム認知研究のため、公開可能で人手でアノテートされたGitHub issueコメントデータセットを提供すること。
• リソースが限られた環境下で、単語レベル（GloVe）と文レベル（USE、BERT）の埋め込みモデルの有効性を評価・比較すること。

提案手法

• 新しく収集した人手でアノテートされたGitHub issueコメントデータセット上で、事前学習済み文の埋め込みモデル（Universal Sentence Encoder（USE）、BERT、GloVe）を微調整する。
• 転移学習のソースドメインとして、豊富な会話行動アノテーションを持つSwitchboard（SwDA）コーパスを活用する。
• 学習率、エポック数、バッチサイズのハイパーパrameterチューニングを実施し、複数の分類モデルを訓練する。
• DAMSL会話行動タグにマッピングする多値分類フレームワークを適用し、特に『statement-opinion』、『agree/accept』、『acknowledge』といった頻度が高く認知的関連性の高いクラスに注目する。
• Macrocognition in Teams Model（MITM）における認知的状態とDAMSLタグの間のマッピングを構築し、チーム認知分析を支援する。
• 各クラスおよびマクロ平均の指標に注目し、正確性、再現率、F1スコアを用いてモデルのパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 リソースが限られたGitHub issueコメントデータにおける会話行動分類において、事前学習済み埋め込みモデル（GloVe、USE、BERT）のうち、どのモデルが最も優れた性能を示すか？
• RQ2 スタイルや複雑さが異なるGitHub issueコメントに、標準的な会話データセット（例：SwDA）からの転移学習がどの程度有効か？
• RQ3 GitHubコメントの会話行動分類は、情報収集や知識構築といった認知的チームプロセスを推定するために有効か？
• RQ4 ハイパーパrameterチューニング（学習率、バッチサイズ、エポック数）は、このリソースが限られた環境下でのモデルパフォーマンスにどのような影響を与えるか？
• RQ5 本研究で提案するアノテーションスキームは、今後のチーム認知研究において信頼性がありスケーラブルか？

主な発見

• Universal Sentence Encoder（USE）が、全会話行動クラスの平均でF1スコア0.42を達成し、GloVeおよびBERTを上回る性能を示した。
• 最も優れたモデル（USE）はマクロF1スコア0.42を達成し、『statement-opinion』クラスでは高い再現率（0.92）だが低めの正確性（0.51）を示しており、有益なコメントの検出に優れていることが示された。
• BERTは微調整による向上が限定的であり、一部のNLPタスクにおいてBERTが微調整にあまり依存しないという先行研究の結果と整合的である。
• 『question』、『agree/accept』、『acknowledge』といった複数の会話行動クラスは、高い正確性（例：『qy』と『fp』では1.00）を示しており、重要な認知的プロセス指標としての性能が確認された。
• 『statement-non-opinion』クラスは中程度のパフォーマンス（F1 = 0.43）を示しており、事実的またはタスク指向のコメントが比較的適切に分類可能であることが示された。
• データセットのリリースには、30の会話行動タグに分類された859件のアノテート済みGitHub issueコメントが含まれており、今後の研究でさらに検証を予定する相互アノテーター信頼性の評価を含む。