[論文レビュー] Getting Reliable Annotations for Sarcasm in Online Dialogues

Reid Swanson, Stephanie M. Lukin+3 more|arXiv (Cornell University)|Sep 4, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 15被引用数 3

ひとこと要約

本稿は、アマゾン・メカニカル・トゥーカーを用いたクラウドソーシングによるラベル付けを用いて、オンライン対話における信頼性の高い皮肉のラベル付けを調査する。統計的信頼性指標（カッパ、カッジャーの手法、マジョリティ・ボルティング、EM）を比較し、3〜7人のラベル付け者で十分な信頼性が得られ、ほとんどの場合で曇りを解消でき、最も曇りの強い例では最大25件のラベル付けが必要であることが判明した。主な貢献は、最小限のオーバーヘッドで高品質な皮肉ラベル付けを取得する実用的でスケーラブルな手法の提供である。

ABSTRACT

The language used in online forums differs in many ways from that of traditional language resources such as news. One difference is the use and frequency of nonliteral, subjective dialogue acts such as sarcasm. Whether the aim is to develop a theory of sarcasm in dialogue, or engineer automatic methods for reliably detecting sarcasm, a major challenge is simply the difficulty of getting enough reliably labelled examples. In this paper we describe our work on methods for achieving highly reliable sarcasm annotations from untrained annotators on Mechanical Turk. We explore the use of a number of common statistical reliability measures, such as Kappa, Karger's, Majority Class, and EM. We show that more sophisticated measures do not appear to yield better results for our data than simple measures such as assuming that the correct label is the one that a majority of Turkers apply.

研究の動機と目的

• オンライン対話における皮肉のラベル付けデータを信頼性高く得る課題に対処する。伝統的なNLPラベル付け手法は、主観性やニュアンスのため、しばしば失敗する。
• クラウドソーシングデータにおける皮肉ラベル付けにおいて、洗練された統計的信頼性指標（例：カッジャーの手法、EM）が単純なマジョリティ・ボルティングを上回るかを評価する。
• オンライン対話における安定的かつ信頼性の高い皮肉ラベル付けを得るために必要なラベル付け者の最適数を特定する。
• 皮肉ラベル付けが他の主観的NLPタスクよりも本質的に曇りが強く、より多くのラベル付け者を必要とするかを評価する。
• 訓練を受けていないラベル付け者から、スケーラブルで経験的妥当性が確認された高品質な皮肉データセットを生成するための手法を提供する。

提案手法

• 研究者は、600件のオンライン対話応答について、未訓練のメカニカル・トゥーカー作業者から1文あたり25件のラベル付けを収集した。ゴールドスタンダードとして100件の皮肉ラベル付き例を用いた。
• 複数の信頼性推定手法を適用した：コーエンのカッパ、カッジャーのアルゴリズム、マジョリティ・ボルティング、期待値最大化（EM）を用いて、ノイズの多いラベルから真のラベルを推定した。
• 最も曇りの強いケースを特定するために階層的サンプリング手法を用い、ラベルの収束状態をラベル付け者数の増加に伴って追跡した（3〜25人まで）。
• ラベルの安定性は、追加のラベル付けが加わるごとに分類（皮肉対非皮肉）が変化する頻度を追跡することで測定した。
• 最終的なゴールドスタンダードは、完全なラベル付けセットを用いたカッジャーのアルゴリズムによって確立され、各手法の精度と収束性を比較した。
• 特に曇りの強いケースにおけるラベル切り替え行動を分析し、初期の曇り（皮肉対非皮肉の票数比が約0.5に近い）がラベル付け者数の増加に伴ってどのように変化するかに注目した。

実験結果

リサーチクエスチョン

• RQ1 洗練された信頼性指標（例：カッジャーの手法、EM）を用いることで、単純なマジョリティ・ボルティングよりも優れた皮肉ラベル付け結果が得られるか？
• RQ2 オンライン対話における安定的かつ信頼性の高い皮肉ラベル付けを得るために、最小で何人のラベル付け者が必要か？
• RQ3 皮肉ラベル付けは他の主観的NLPタスクよりも本質的に曇りが強く、合意に至るまでにより多くのラベル付け者を要するのか？
• RQ4 追加のラベル付けが加わるにつれてラベル割り当てはどのように変化するのか？収束はいつ起こるか？
• RQ5 初期に曇りの強いラベル（皮肉対非皮肉票数比が0.5に近い）は、追加のラベル付けによってどの程度安定化するか？

主な発見

• マジョリティ・ボルティングは、ゴールドスタンダードで3人のラベル付け者でのみ82.5％の精度を達成し、最小限のラベル付けで高い信頼性を示している。
• 最も曇りの強い400件の文について、3人のラベル付け者で約80％の精度が得られ、10人のラベル付け者では約90％まで向上したが、23件を超えるとほとんど利益が得られなくなった。
• 25件のラベル付け後、600件中9件のみが曇りのまま残り、ほぼ完全な合意に到達可能であることが示された。
• ほとんどのアイテムについて、7件のラベル付けでラベル収束が達成されたが、極めて曇りの強いケースのわずかな割合については、10〜15件を超えてラベルが変化し続けることが確認された。
• 研究では、7人のラベル付け者が皮肉ラベルを安定化させるのに十分であることが判明し、皮肉ラベル付けが他の主観的NLPタスクよりも多くのラベル付け者を要するわけではないという結論が支持された。
• 結果として、単純なマジョリティ・ボルティングが、カッジャーの手法やEMといった複雑なモデルと同等の性能を示し、計算コストも最小限に抑えられた。