[論文レビュー] Invariant Information Distillation for Unsupervised Image Segmentation and Clustering

Xu Ji, João F. Henriques+1 more|arXiv (Cornell University)|Jul 17, 2018

Advanced Image and Video Retrieval Techniques参考文献 17被引用数 53

ひとこと要約

この論文は、増幅画像ペアの予測間の相互情報量を最大化することで、未ラベル画像データのみを用いてニューラルネットワークを完全に訓練する、新しい教師なしクラスタリング手法を提案する。8つのベンチマークで最先端の性能を達成し、CIFAR10では先行手法よりも9.5%高い精度を記録し、半教師あり設定下でSTL10で88.8%の精度を達成した。

ABSTRACT

We present a novel clustering objective that learns a neural network classifier from scratch, given only unlabelled data samples. The model discovers clusters that accurately match semantic classes, achieving state-of-the-art results in eight unsupervised clustering benchmarks spanning image classification and segmentation. These include STL10, an unsupervised variant of ImageNet, and CIFAR10, where we significantly beat the accuracy of our closest competitors by 6.6 and 9.5 absolute percentage points respectively. The method is not specialised to computer vision and operates on any paired dataset samples; in our experiments we use random transforms to obtain a pair from each image. The trained network directly outputs semantic labels, rather than high dimensional representations that need external processing to be usable for semantic clustering. The objective is simply to maximise mutual information between the class assignments of each pair. It is easy to implement and rigorously grounded in information theory, meaning we effortlessly avoid degenerate solutions that other clustering methods are susceptible to. In addition to the fully unsupervised mode, we also test two semi-supervised settings. The first achieves 88.8% accuracy on STL10 classification, setting a new global state-of-the-art over all existing methods (whether supervised, semi-supervised or unsupervised). The second shows robustness to 90% reductions in label coverage, of relevance to applications that wish to make use of small amounts of labels. this http URL

研究の動機と目的

• 教師なしデータから意味的表現を学ぶクラスタリング目的を開発し、事前学習済み特徴量や外部のクラスタリング手順を必要としないこと。
• 教師なし対照学習で一般的な退化解を回避するため、情報理論に基づいて手法を定式化すること。
• 後処理を必要としない直接的な意味的ラベル予測をネットワークが行えるようにすること。
• 画像分類、セグメンテーション、半教師あり学習設定を含む多様なベンチマークで性能を評価すること。
• 半教師あり状況下で極端なラベル不足（例：90%のラベル削減）に耐性を示すことを示すこと。

提案手法

• 各画像からランダムなデータ増幅を適用し、ペairedサンプルを生成することで、対照学習用のポジティブペアを形成する。
• ネットワークが各増幅ペアの予測間の相互情報量を最大化し、不変情報蒸留目的関数を用いる。
• ネットワークは、後続のクラスタリングアルゴリズムを必要とせずに、意味的クラス割り当てを直接出力するように訓練される。
• 目的関数は情報理論に基づいており、他の対照的手法で一般的に見られる退化解に対する耐性を確保する。
• このアプローチは視覚分野に限らず、任意のペアドデータ分布に一般化可能である。
• ラベル数が少ない状況で半教師ありバージョンをテストし、ラベルの不足下でも一般化性能が向上することを確認した。

実験結果

リサーチクエスチョン

• RQ1 未ラベルデータのみを用いて、ニューラルネットワークを完全に訓練し、意味的なクラスタを発見できるか？
• RQ2 増幅画像ペアの予測間の相互情報量を最大化することで、最先端のクラスタリング性能が達成できるか？
• RQ3 この手法は、画像分類やセグメンテーションタスクを含む多様なベンチマークに一般化可能か？
• RQ4 90%のラベル削減のような極端なラベル不足下でも、この手法は性能を発揮するか？
• RQ5 大規模なラベル付きデータに依存せずに、半教師あり学習で最先端の結果を達成できるか？

主な発見

• CIFAR10における教師なしクラスタリングにおいて、最も近い競合手法よりも9.5%の絶対的な精度向上を達成した。
• STL10では、半教師ありバージョンが88.8%の精度を記録し、すべての監督あり・半教師あり・教師なし手法の中で新たなグローバルSOTAを樹立した。
• STL10、ImageNet-unsupervised、CIFAR10を含む8つの教師なしベンチマークで、先行手法を著しく上回った。
• 90%のラベルカバレッジ削減に対しても耐性を示し、最小限の監視下でも優れた性能を発揮した。
• 情報理論的基盤により、退化解を回避でき、安定的かつ意味的なクラスタリングを保証した。
• ネットワークが直接意味的ラベルを出力するため、後処理や外部のクラスタリング手順が不要となった。