[論文レビュー] Large-Margin Metric Learning for Partitioning Problems

Rémi Lajugie, Sylvain Arlot+1 more|arXiv (Cornell University)|Mar 6, 2013

Sparse and Compressive Sensing Techniques参考文献 45被引用数 26

ひとこと要約

本稿では、クラスタリング、画像/動画セグメンテーション、変化点検出などの教師なし分割問題において、マハラノビス距離の学習を目的とした大マージン構造予測フレームワークを提案する。複数の部分的または完全なラベル付きデータセットを活用することで、特徴量の重み付けと選択を伴う凸最適化問題としてメトリック学習を定式化し、合成データ、バイオインフォマティクス、動画、画像セグメンテーションタスクにおいて顕著な性能向上を達成する。

ABSTRACT

In this paper, we consider unsupervised partitioning problems, such as clustering, image segmentation, video segmentation and other change-point detection problems. We focus on partitioning problems based explicitly or implicitly on the minimization of Euclidean distortions, which include mean-based change-point detection, K-means, spectral clustering and normalized cuts. Our main goal is to learn a Mahalanobis metric for these unsupervised problems, leading to feature weighting and/or selection. This is done in a supervised way by assuming the availability of several potentially partially labelled datasets that share the same metric. We cast the metric learning problem as a large-margin structured prediction problem, with proper definition of regularizers and losses, leading to a convex optimization problem which can be solved efficiently with iterative techniques. We provide experiments where we show how learning the metric may significantly improve the partitioning performance in synthetic examples, bioinformatics, video segmentation and image segmentation problems.

研究の動機と目的

• 教師なし分割問題における有効な距離メトリックの選択または学習という課題に取り組み、性能に大きく影響を与えるがしばしばヒューリスティックに選ばれるメトリックを改善すること。
• 複数の部分的または完全なラベル付きデータセットを活用することで、判別的かつ凸なフレームワークにおいて、教師なしメトリック学習の限界を克服すること。
• K-means、スペクトラルクラスタリング、正規化カット、および平均ベースの変化点検出といった多様な分割アルゴリズムを、ユークリッド歪みの最小化に基づく共通のメトリック学習フレームワークに統合すること。
• マハラノビスメトリック学習による特徴量の重み付けと選択を可能にし、動画や画像セグメンテーションなどの実世界の応用におけるロバストネスと性能を向上させること。
• 非凸なアプローチに代わる安定的で凸な代替手法を提供し、収束性とより優れた最適化挙動を保証すること。

提案手法

• メトリック学習問題を、データをクラスターやセグメントに分割する構造的出力をもつ大マージン構造予測タスクとして定式化する。
• 正解ラベルに対する誤ったまたは劣悪な分割をペナルティ化するマージンベースの損失関数を定義し、正しい一般化を促進する。
• 低ランクまたはスパースな解を促進するため、構造的正則化子（例：ノルムやグループラasso）を組み込む。
• スペクトル緩和または動的計画法による損失補正推論を用いて、最適化中の構造予測サブ問題を効率的に解く。
• 部分的ラベル付きデータセットに対しては、現在のメトリックを用いて完全なラベルを予測し、予測ラベル上でメトリックを再学習する操作を交互に繰り返すことで、ロバストネスを向上させる。
• 非滑らかで非凸な最適化問題を解くために凸-凹プロシージャー（CCCP）を適用し、局所最適解への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 教師ありメトリック学習フレームワークは、クラスタリングやセグメンテーションなどの教師なし分割タスクにおいて、顕著な性能向上を達成できるか？
• RQ2 複数の部分的または完全なラベル付きデータセットを統合して、1つの共有マハラノビスメトリックを学習することで、分割タスクにおける一般化性能を向上させられるか？
• RQ3 大マージン構造予測定式化は、既存の凸および非凸なメトリック学習手法に比べ、分割性能で優れているか？
• RQ4 複数のモodal（音声と動画など）を統合する場合、マハラノビス距離に基づくメトリック学習は、動画および画像データのセグメンテーション性能をどの程度向上させられるか？
• RQ5 提案手法は、平均シフトだけでなく分布の変化を伴うバイオインフォマティクス時系列データのような複雑な実世界データにも一般化可能か？

主な発見

• 動画セグメンテーションにおいて、音声と動画の両ストリームを用いた場合、3つのテレビ番組の平均でセグメンテーション損失が11.0から7.8に低下し、PCAおよびベースラインメトリックを上回った。
• UCI
• ワイツマン・ホースズデータセットを用いた画像セグメンテーションでは、学習されたメトリックにより損失（式8）がグリッドサーチ時の1.77から1.54に低下し、p値が2.10⁻⁹であった。これは統計的に有意な改善を示している。
• ジャカード距離では、学習されたメトリックがグリッドサーチ時と比較して0.45に低下したのに対し、0.53であった。p値は4.10⁻⁹であり、一貫した改善が確認された。
• UCI
• 非凸な手法（例：[3]）に比べ、安定性と収束性において顕著に優れており、特にアイrisおよびワインデータセットにおいて、既存の凸ベースライン（例：[32]およびRCA）と同等の性能を示した。