[論文レビュー] Learning from various labeling strategies for suicide-related messages on social media: An experimental study

Tong Liu, Qijin Cheng+2 more|arXiv (Cornell University)|Jan 30, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 9被引用数 10

ひとこと要約

本研究では、ソーシャルメディア上の自殺関連コンテンツを検出するための教師あり機械学習モデルの性能に、クラウドソーシングワーカーとドメインエキスパートを用いたラベル付け戦略がどのように影響するかを調査している。ラベル集約手法を比較することで、クラウドソーシングワーカーとエキスパートの両方が一致して同意したラベルを訓練データに用いることで、特に自殺リスク検出のような主観的で深刻な分野において、最も堅牢で正確な結果が得られることを明らかにした。

ABSTRACT

Suicide is an important but often misunderstood problem, one that researchers are now seeking to better understand through social media. Due in large part to the fuzzy nature of what constitutes suicidal risks, most supervised approaches for learning to automatically detect suicide-related activity in social media require a great deal of human labor to train. However, humans themselves have diverse or conflicting views on what constitutes suicidal thoughts. So how to obtain reliable gold standard labels is fundamentally challenging and, we hypothesize, depends largely on what is asked of the annotators and what slice of the data they label. We conducted multiple rounds of data labeling and collected annotations from crowdsourcing workers and domain experts. We aggregated the resulting labels in various ways to train a series of supervised models. Our preliminary evaluations show that using unanimously agreed labels from multiple annotators is helpful to achieve robust machine models.

研究の動機と目的

• ソーシャルメディア上の自殺関連コンテンツを検出する教師ありモデルの性能に、ラベル付け戦略を変化させた場合がどのように影響するかを調査すること。
• 主観的なメンタルヘルスコンテンツのラベリングにおいて、クラウドソーシングワーカーとドメインエキスパートを組み合わせることの信頼性と有効性を評価すること。
• 自殺関連ディス course のゴールドスタンダード訓練データに複数のラベルを集約する最適な方法を特定すること。
• 高いアノテーター間一致度が、より堅牢で一般化可能な機械学習モデルをもたらすかどうかを評価すること。
• ソーシャルメディアにおける自殺リスク検出のための高品質な訓練コーパスを構築するにあたり、証拠に基づいた指針を提供すること。

提案手法

• キーワードおよび場所ベースのクエリを用いて収集した自殺関連ツイートに対して、クラウドソーシングワーカーとドメインエキスパートを用いて複数ラウンドのラベリングを実施した。
• 最初のラウンドでクラウドソーシングワーカーからのラベルを収集し、その後、アノテーター間一致度が低いインスタンスについてエキスパートによるレビューを実施した。
• 多数決、クラウドソーシングワーカーの全員一致、エキスパートの全員一致、および両グループの全員一致ラベルを組み合わせたラベル集約戦略を複数用いてラベルを集約した。
• これらの集約戦略から得られた訓練データサブセットを用いて、5つの異なる教師ありモデル（C1 から C5）を訓練した。
• 標準的な指標（精度、再現率、F1スコア、ROC AUC、平均精度）を用いてモデルのパフォーマンスを評価し、クラス不均衡の影響を補うために重み付きF1を適用した。
• 最良のパフォーマンスを示した分類器（C4）のモデル係数を用いて、自殺的思考の主要な言語的マーカーを同定した。

実験結果

リサーチクエスチョン

• RQ1 多数決と全員一致のラベル集約戦略の選択が、自殺関連コンテンツ検出モデルの性能にどのように影響するか。
• RQ2 高いアノテーター間一致度が達成された場合、クラウドソーシングワーカーが自殺関連コンテンツに対して信頼できるラベルを提供できるか。
• RQ3 曖昧なケースに対してエキスパートのラベルを組み込むことで、単にクラウドソーシングラベルに依存する場合と比較して、モデルの堅牢性が向上するか。
• RQ4 異なる訓練データ構築手法が、F1スコアやAUCといった主要指標におけるモデルの一般化性能にどのように影響するか。
• RQ5 ソーシャルメディアにおける自殺関連コンテンツの予測に最も予測力のある言語的特徴は何か、またそれらはラベル付け戦略によってどのように変化するか。

主な発見

• クラウドソーシングワーカーとエキスパートの両方が全員一致でラベル付けしたデータで訓練されたモデル（C4）が、F1スコア、精度、再現率、ROC AUCのすべての指標で最高のパフォーマンスを示した。
• クラウドソーシングワーカーの全員一致ラベルのみで訓練されたモデル（C3）も、C4とほぼ同等のパフォーマンスを示し、非エキスパート間の高い合意が信頼できる訓練データを生み出せることを示した。
• アノテーター間一致度が低いラベル（例：C1 と C5）で訓練されたモデルは、特に精度とF1スコアで著しく劣り、ノイズの多いラベルが性能に悪影響を及えることが明らかになった。
• 全員一致のエキスパートラベルからのみ12件の正例しか含まれない最小のデータセットで訓練されたモデル（C2）は、精度、再現率、F1ともにゼロを記録し、高品質な十分なデータの重要性を強調した。
• 最良のパフォーマンスを示したモデル（C4）が同定した上位特徴には、「depression」、「suicide」、「kill myself」、「commit suicide」などの語が含まれており、これらは自殺的思考の既知の言語的マーカーと一致していた。
• 本研究では、単に多数決ラベルや混合一致ラベルを用いることで、より不安定で正確性に欠けるモデルが得られることを明らかにした。これは、合意度が低いラベルがノイズを引き起こし、モデル性能を低下させることを示唆している。