[論文レビュー] CliqueCNN: Deep Unsupervised Exemplar Learning

Miguel Ángel Bautista, Artsiom Sanakoyeu+2 more|arXiv (Cornell University)|Aug 31, 2016

Human Pose and Action Recognition参考文献 29被引用数 49

ひとこと要約

CliqueCNN は、サンプルをコン pact で相彼方の類似性を持つクリークにグループ化することで、CNN 用のバランスの取れたトレーニングバッチを生成する、例示ベースの類似性学習のための教師なし深層学習手法を提案する。類似性学習をクリーク分類タスクとして定式化することにより、ラベルなしで頑健で汎化性の高い表現を学習でき、ポーズ解析およびオブジェクト分類の分野で最先端の性能を達成する。

ABSTRACT

Exemplar learning is a powerful paradigm for discovering visual similarities in an unsupervised manner. In this context, however, the recent breakthrough in deep learning could not yet unfold its full potential. With only a single positive sample, a great imbalance between one positive and many negatives, and unreliable relationships between most samples, training of Convolutional Neural networks is impaired. Given weak estimates of local distance we propose a single optimization problem to extract batches of samples with mutually consistent relations. Conflicting relations are distributed over different batches and similar samples are grouped into compact cliques. Learning exemplar similarities is framed as a sequence of clique categorization tasks. The CNN then consolidates transitivity relations within and between cliques and learns a single representation for all samples without the need for labels. The proposed unsupervised approach has shown competitive performance on detailed posture analysis and object classification.

研究の動機と目的

• 1 つのクラスあたり 1 つの正例しか存在しない教師なし CNN トレーニングの課題に対処すること。この場合、負例は正例に比べて著しく多くなる。
• 一貫性のないまたは欠落しているペairwise 関係を伴う、極めて不均衡で弱教師ありの類似性学習設定において、確率的勾配降下法（SGD）の不安定性を克服すること。
• 手動によるアノテーションや大規模なラベル付きデータセットでの事前学習を必要とせず、例示間の推移的かつ汎化可能な視覚的類似性を学習する手法を開発すること。
• 弱い局所的類似性信号のみを用いて、人間のポーズ推定やオブジェクト認識などの細分化された視覚的タスクにおける効果的な深層表現学習を可能にすること。
• コンパクトで互いに距離をとったクリークから構成されるバランスの取れたトレーニングバッチを生成するための単一の最適化問題を定式化すること。これにより、曖昧または矛盾する関係からの誤った指導信号を最小限に抑える。

提案手法

• 弱い局所的類似性推定（例：類似するペアや遠く離れたペア）を用いて、初期の小さなクリークを構築し、例示の周辺にコンパクトなグループを形成する。
• これらのクリークをトレーニングバッチにグループ化するためのグローバル最適化問題を定式化する。バッチ内に存在するすべてのクリークが互いに類似性が低いようにすることで、各サンプルに対する信頼性の高い指導を保証する。
• 事前学習分類タスクを定義する：与えられたサンプルが特定のクリークに属するかどうかを予測する。これにより、CNN は推移的推論を通じて判別性の高い特徴を学習できる。
• クロスエントロピー損失を用いて、クリーク分類タスク上で CNN をエンドツーエンドで訓練する。これにより、ネットワークは一貫性のないペアワイズ関係を暗黙的に是正し、バッチ間での類似性の一般化が可能になる。
• 学習された特徴の推移性を活用して、欠落しているまたは信頼性の低い類似関係を伝搬・補完し、一貫性のあるグローバルな類似性構造を構築する。
• PASCAL VOC や Leeds Sports のような下流データセットでのファインチューニングなしに、弱教師ありの類似性推定（例：Wang 他 [33] からのもの）を用いてモデルを初期化する。

実験結果

リサーチクエスチョン

• RQ1 極度のクラス不均衡と信頼できるペアワイズ関係の欠如があるにもかかわらず、教師なし例示学習のための深層 CNN は効果的に訓練可能か？
• RQ2 トレーニングバッチをどのように構築すれば、対立する指導信号を最小限に抑えつつ、バランスと代表性を維持できるか？
• RQ3 クリークベースのグループ化戦略により、ラベルなしで推移的かつ汎化可能な視覚的類似性を CNN が学習可能か？
• RQ4 クリーク分類による教師なし CNN 学習は、既存の教師なしおよび弱教師あり手法に比べて、細分化された視覚的タスクでどの程度優れているか？
• RQ5 提案手法は、ラベル付きデータでのファインチューニングなしに、人間のポーズ推定やオブジェクト分類といった下流タスクに一般化可能か？

主な発見

• CliqueCNN は、人間のポーズ推定において、Leeds Sports データセットで 43.5% の正しく部分が特定された割合（PCP）を達成し、教師なし設定で HOG-LDA（38.4%）および AlexNet（41.1%）を大きく上回った。
• 本手法は、Wang 他 [33] のベースライン教師なし類似性測定を 3 パcent 点向上させ、PASCAL VOC 2007 オブジェクト分類でファインチューニングなしに 48.12% の精度を達成した。
• 学習された表現は前後反転に対して不変であることが示され、形状の類似性が保たれていれば、外観の変化に対しても頑健であることが確認された。
• 失敗事例では、形状の類似性のため、前向きと後ろ向きの人物を混同する傾向が見られた。これは、顔検出などの追加のインダクティブバイアスの必要性を示唆している。
• 未学習データへの一般化が良好であり、定性的な結果では、トレーニングセット内の最近傍のサンプルが正しくポーズを予測するポーズ転送が成功した。
• 完全に教師なしであるにもかかわらず、Pose Machines（72.0% PCP）などの完全に教師ありの最先端手法と比較して、競争力のある性能を達成した。