[論文レビュー] Fast Dawid-Skene: A Fast Vote Aggregation Scheme for Sentiment Classification

Vaibhav B. Sinha, Sukrut Rao+1 more|arXiv (Cornell University)|Mar 7, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 29被引用数 13

ひとこと要約

本稿では、Fast Dawid-Skene (FDS) を提案する。FDS は、Dawid-Skene (DS) よりも最大 7.84 倍の収束速度を達成しながら、同等の精度を維持する、ハード EM に基づく投票集約アルゴリズムである。FDS は E ステップをハードラベル割り当てに簡素化することで収束を高速化し、オンライン集約およびマルチラベル設定においても強力な実験的性能を示す。

ABSTRACT

Many real world problems can now be effectively solved using supervised machine learning. A major roadblock is often the lack of an adequate quantity of labeled data for training. A possible solution is to assign the task of labeling data to a crowd, and then infer the true label using aggregation methods. A well-known approach for aggregation is the Dawid-Skene (DS) algorithm, which is based on the principle of Expectation-Maximization (EM). We propose a new simple, yet effective, EM-based algorithm, which can be interpreted as a `hard' version of DS, that allows much faster convergence while maintaining similar accuracy in aggregation. We show the use of this algorithm as a quick and effective technique for online, real-time sentiment annotation. We also prove that our algorithm converges to the estimated labels at a linear rate. Our experiments on standard datasets show a significant speedup in time taken for aggregation - upto $\sim$8x over Dawid-Skene and $\sim$6x over other fast EM methods, at competitive accuracy performance. The code for the implementation of the algorithms can be found at https://github.com/GoodDeeds/Fast-Dawid-Skene

研究の動機と目的

• クラウドソーシングによるセンチメント分類において、従来の Dawid-Skene (DS) アルゴリズムの収束が遅いという問題に取り組む。
• リアルタイムおよびオンラインセンチメントアノテーションに適した、より高速で正確な DS の代替手法を開発する。
• 低遅延が重要なストリーミングデータ環境における効率的な集約を可能にする。
• 1 問の質問に対して複数の正解ラベルを扱えるように拡張し、適用範囲を広げる。
• 提案手法の理論的解析により、線形収束速度を証明する。

提案手法

• FDS は、DS のソフト E ステップをハードラベル割り当てに置き換えることで EM アルゴリズムを再定式化し、現在の推定に基づいて各インスタンスに最も確率の高いクラスを割り当てる。
• M ステップでは、DS と同様に最尤推定法を用いてワーカーの誤差率とクラス事前確率を更新するが、ハードラベル化のおかげで収束が高速化される。
• 収束判定には、クラス周辺分布の変化（0.005 未満）に基づく閾値を用いる。
• オンライン集約では、初期予測に多数決投票を用い、その後、各入力データポイントごとに M ステップでパラメータを更新し、1 回の E ステップでラベルを再推定する。
• マルチラベル設定では、各 (質問, 項目) 組み合わせを独立した二値分類タスクとして扱い、問題を二値設定に変換する。
• ハイブリッドバージョンは、クラス周辺分布の変化が閾値未満に下がると、DS から FDS に動的に切り替える。

実験結果

リサーチクエスチョン

• RQ1 Dawid-Skene のハード EM に基づく代替手法は、精度を損なわずに著しく高速な収束を達成できるか？
• RQ2 提案手法は、オンラインでリアルタイムのセンチメント集約においてどの程度効果的か？
• RQ3 本手法は、1 問に複数の正解があるような状況にも一般化可能か？
• RQ4 提案された Fast Dawid-Skene アルゴリズムの理論的収束速度は何か？
• RQ5 ハイブリッド手法は、純粋な DS や FDS と比較して、速度と精度のバランスをどのようにとるか？

主な発見

• FDS は、標準的なセンチメントデータセットにおいて、DS より最大 7.84 倍の高速化を達成し、精度の損失は最小限に抑えられる。
• SP データセットでは、FDS は 4 イタレーションで収束したのに対し、DS は 26 イタレーションを要し、精度は FDS が 90.60%、DS が 90.94% であった。
• オンライン集約では、FDS はオフライン FDS とほぼ同等の精度（5 名のアノテーターを用いて 90.60%）を維持した。
• AffectAnnotation データセットにおけるマルチラベルセンチメント分類では、FDS が 94.14% の精度を達成し、DS（88.66%）とハイブリッド（89.26%）を上回った。
• マルチラベルデータセットでは、FDS の収束に要した時間は 0.057 秒であったのに対し、DS は 0.44 秒であった。
• 理論的解析により、FDS が推定ラベルに対して線形速度で収束することが証明され、実用的効率性を裏付けた。