[論文レビュー] Semi-Supervised Active Clustering with Weak Oracles

Taewan Kim, Joydeep Ghosh|arXiv (Cornell University)|Sep 11, 2017

Advanced Clustering Algorithms Research参考文献 8被引用数 4

ひとこと要約

本稿では、不確実性によりペairワイズな'同じクラスタ'クエリに回答を拒否する可能性がある分野の専門家（弱いオラクル）を扱える、半教師ありアクティブクラスタリングフレームワークを提案する。ランダムかつ距離に基づく弱いオラクルの行動をモデル化することで、$γ$-マージン条件およびクラスタ中心付近の点の存在下でも、低いクエリ複雑性と高いクラスタリング精度を維持するアルゴリズムを開発した。クラスタのマージンが狭い場合、著しく少ないクエリで効果的なクラスタリングが達成できる。

ABSTRACT

Semi-supervised active clustering (SSAC) utilizes the knowledge of a domain expert to cluster data points by interactively making pairwise "same-cluster" queries. However, it is impractical to ask human oracles to answer every pairwise query. In this paper, we study the influence of allowing "not-sure" answers from a weak oracle and propose algorithms to efficiently handle uncertainties. Different types of model assumptions are analyzed to cover realistic scenarios of oracle abstraction. In the first model, random-weak oracle, an oracle randomly abstains with a certain probability. We also proposed two distance-weak oracle models which simulate the case of getting confused based on the distance between two points in a pairwise query. For each weak oracle model, we show that a small query complexity is adequate for the effective $k$ means clustering with high probability. Sufficient conditions for the guarantee include a $γ$-margin property of the data, and an existence of a point close to each cluster center. Furthermore, we provide a sample complexity with a reduced effect of the cluster's margin and only a logarithmic dependency on the data dimension. Our results allow significantly less number of same-cluster queries if the margin of the clusters is tight, i.e. $γ\approx 1$. Experimental results on synthetic data show the effective performance of our approach in overcoming uncertainties.

研究の動機と目的

• アクティブクラスタリングにおける人間の専門家からの完璧な応答を要求する現実的でない状況を解消するため、'分からない'応答を許容すること。
• ランダムな回答拒否や点間距離に基づく誤解といった現実的でない弱いオラクル行動をモデル化すること。
• オラクルの応答に不確実性が存在しても、低いクエリ複雑性と高いクラスタリング正確性を維持すること。
• $γ$-マージン特性やクラスタ中心に近い点の存在といった最小限の仮定のもとで、クラスタ回復の理論的保証を提供すること。
• 不完全で不確実な監視情報に対しても効率的に動作し、確率的回復保証を維持できるようにSSACフレームワークを拡張すること。

提案手法

• ランダムに弱い（固定確率で回答拒否）および距離に依存して弱い（クラスタ内・間の点間距離に基づき回答拒否）の2種類の弱いオラクルモデルを導入する。
• 『クラスタ中心推定』と『半径推定』の2段階構造を持つSSACアルゴリズムを、'分からない'応答に対応できるように変更した二分探索法を用いて適応する。
• 行列集中不等式を用いて、$γ$-マージンおよび次元数に依存するクエリ複雑性の上限を導出する。
• 各クラスタ中心に近い点の存在を仮定することで、半径推定における不確実性を解消する。
• 確率的解析を用いて、弱い監視のもとでもオラクルの真のクラスタリングを高確率で回復できることを保証する。
• 両フェーズの結果を統合し、アルゴリズム全体の成功に対する統一的な確率的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 オラクルが明確な'はい/いいえ'の回答ではなく'分からない'応答を提供する場合でも、半教師ありアクティブクラスタリングは効果を保てるか？
• RQ2 オラクルの応答にランダムまたは距離に基づく不確実性が生じた場合、クエリ複雑性とクラスタリング正確性にどのような影響を与えるか？
• RQ3 弱い監視のもとで真のクラスタリングを高確率で回復するのに十分な最小限の仮定は何か？
• RQ4 $γ$-マージン特性は、弱いオラクルを用いた正確なクラスタリングに必要なクエリ数にどのように影響するか？
• RQ5 各クラスタ中心に近い点が存在することで、弱いオラクルモデル下での半径推定における不確実性を軽減できるか？

主な発見

• $γ$-マージンが狭い（すなわち、$γ \approx 1$）場合、提案されたアルゴリズムは著しく低いクエリ複雑性で高いクラスタリング正確性を達成する。
• ランダムに弱いオラクルモデルでは、サンプリングおよびクエリ数の増加により、高確率でクラスタ中心および半径の近似が成功する。
• 距離に依存して弱いオラクルでは、各クラスタ中心に近い点が少なくとも1つ存在することで、オラクルのクラスタリングを信頼性高く回復できる。
• サンプル複雑性はデータ次元数に対して対数的に依存し、中心への近接性が保証されていればクラスタマージンの影響をあまり受けにくい。
• 実験結果では、$\gamma \in [1.0, 1.1]$ の範囲で99.99％の正確性を達成し、クラスタの重なりがある場合（$\gamma_{\min} = 0.6$）でも失敗率が低く、$\eta = 50$ のサンプル数で99％以上の正確性を達成した。
• 非分離可能な状況（$\gamma_{\min} = 0.6$）でも、$\eta = 50$ の場合、正確性は98％以上を維持し、クラスタの重なりがあっても失敗率は低く保たれた。