[論文レビュー] A Markov Chain based Ensemble Method for Crowdsourced Clustering

Sujoy Chatterjee, Enakshi Kundu+1 more|arXiv (Cornell University)|Sep 6, 2016

Advanced Clustering Algorithms Research参考文献 11被引用数 4

ひとこと要約

本稿では、困難な画像データセットにおける頑健なコンSENSUSクラスタリングを実現するため、クラウドソーシングによるクラスタリング解を活用したマルコフ連鎖ベースのアンサンブル手法を提案する。クラスターラベルを調整ランダムインデックス（ARI）を用いて標準化し、解の類似度に基づいて重み付けされたオブジェクト単位の遷移行列を構築し、定常分布を計算することで最終的なクラスターラベルを割り当てる。この手法により、従来のアンサンブルアルゴリズムと比較して優れたクラスタリング品質が達成され、バランススケールデータセットではARIが0.1767に達した。

ABSTRACT

In presence of multiple clustering solutions for the same dataset, a clustering ensemble approach aims to yield a single clustering of the dataset by achieving a consensus among the input clustering solutions. The goal of this consensus is to improve the quality of clustering. It has been seen that there are some image clustering tasks that cannot be easily solved by computer. But if these images can be outsourced to the general people (crowd workers) to group them based on some similar features, and opinions are collected from them, then this task can be managed in an efficient manner and time effective way. In this work, the power of crowd has been used to annotate the images so that multiple clustering solutions can be obtained from them and thereafter a Markov chain based ensemble method is introduced to make a consensus of multiple clustering solutions.

研究の動機と目的

• 自動化されたシステムが正確に分類することが難しい複雑で曖昧な画像のクラスタリングという課題に対処すること。
• 困難な画像データセットに対して多様なクラスタリング解を生成するため、クラウドワーカーからの人間の知性を活用すること。
• 複数のクラウドソーシングによるクラスタリング解を統合し、1つの高品質なコンセンサスクラスタリングを生成する頑健なアンサンブル手法を開発すること。
• クラウドワーカー間でのラベルの不一致を解消するために、調整ランダムインデックス（ARI）を用いてラベルを標準化し、基準となるクラスタリング解を選択すること。
• オブジェクト単位のクラスタ遷移をマルコフ連鎖でモデル化し、定常分布を計算することで、最終的なラベル割り当ての精度を向上させることによって、クラスタリング性能を改善すること。

提案手法

• 25名のクラウドワーカーが、固定されたクラスタ数を持つ難易度の高い画像データセットに対してクラスタリング解を収集できるクラウドソーシングプラットフォームを設計した。
• 全ワーカーのクラスターラベルを、他の解とのARIスコアが最も高い基準クラスタリング解を用いて標準化した。
• サイズ $ n \times n $ のオブジェクト単位の遷移行列を構築した。ここで $ T_{ij} $ は、各入力クラスタリング解の正規化された ARI 類似度で重み付けされた、クラスタ $ i $ から $ j $ への遷移確率を表す。
• 収束を保証するため、遷移行列に一様な補正項を加えることで、行列をエルゴディックにした。
• 各データオブジェクトに対して、定常分布 $ sd_y $ を反復的に $ sd_y \leftarrow sd_y \cdot T $ により計算し、確率が最大となるクラスターラベルを最終ラベルとして割り当てた。
• 全オブジェクトに対してこのプロセスを繰り返すことで、最終的なコンセンサスクラスタリング解を生成した。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖ベースのアンサンブル手法は、クラウドワーカーから得た多様なクラスタリング解を効果的に統合し、より高品質なコンセンサスクラスタリングを生成できるか？
• RQ2 本手法は、クラウドワーカー間でのラベル不一致をどのように処理し、クラスタリング解を統合するか？
• RQ3 CSPA、HGPA、MCLA、BCE といった既存のアンサンブルアルゴリズムと比較して、本手法のクラスタリング妥当性指標における性能向上はどの程度か？
• RQ4 ARI重み付き遷移行列と定常分布モデリングを用いることで、画像クラスタリングタスクにおけるコンセンサスの頑健性が向上するか？
• RQ5 曖昧な画像グループ化を含む実世界のデータセットに適用した場合、本手法の性能はどの程度スケーリング可能か？

主な発見

• 本手法はバランススケールデータセットで調整ランダムインデックス（ARI）0.1767を達成し、CSPA（0.1579）、HGPA（0.1482）、MCLA（0.0118）、BCE（0.0830）を上回った。
• ランダムインデックス（RI）が0.6071に達し、比較対象の全アルゴリズムを上回った。これは、より良い全体的なクラスタリング一致を示している。
• ミルキン指数（MI）が0.3929であるため、本手法は既存の手法と比較して、誤分類誤差が低いコンセンサスクラスタリングを生成している。
• ハーバート指数（HI）が0.2141であるため、本手法はCSPA（0.1883）、HGPA（0.0431）、MCLA（0.1971）、BCE（0.1232）よりもより正確なコンセンサス解を提供していることが確認された。
• 結果から、マルコフ連鎖ベースのアンサンブル手法が、多様なクラウドソーシングによるクラスタリング解を効果的に活用し、より頑健で正確なコンセンサスクラスタリングを生成できることを示している。
• ARIに基づく重み付けとエルゴディックな遷移行列の使用により、安定した収束と向上したラベル割り当ての正確性が実現された。