[論文レビュー] Object category learning and retrieval with weak supervision

Steven Hickson, Anelia Angelova+2 more|arXiv (Cornell University)|Jan 26, 2018

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 7

ひとこと要約

本論文では、オブジェクト性マスクという弱い教師信号のみを用いて、ラベルなし画像データから意味的オブジェクトカテゴリと埋め込みを、完全に微分可能でエンドツーエンドの深層クラスタリング手法として学習する手法を提案する。畳み込みニューラルネットワーク（CNN）内にクラスタ中心点を学習可能なメモリユニットとして扱うことで、特徴表現とクラスタリングを同時に最適化し、CIFAR-10およびCityscapesで車、人、自転車といった意味的クラスを明確に発見する。クラスラベルは一切不要である。

ABSTRACT

We consider the problem of retrieving objects from image data and learning to classify them into meaningful semantic categories with minimal supervision. To that end, we propose a fully differentiable unsupervised deep clustering approach to learn semantic classes in an end-to-end fashion without individual class labeling using only unlabeled object proposals. The key contributions of our work are 1) a kmeans clustering objective where the clusters are learned as parameters of the network and are represented as memory units, and 2) simultaneously building a feature representation, or embedding, while learning to cluster it. This approach shows promising results on two popular computer vision datasets: on CIFAR10 for clustering objects, and on the more complex and challenging Cityscapes dataset for semantically discovering classes which visually correspond to cars, people, and bicycles. Currently, the only supervision provided is segmentation objectness masks, but this method can be extended to use an unsupervised objectness-based object generation mechanism which will make the approach completely unsupervised.

研究の動機と目的

• 手動によるクラスアノテーションなしで意味的で有用なオブジェクトカテゴリを学習すること。
• エンドツーエンドで微分可能に、深層特徴埋め込みとクラスタリングを同時に最適化すること。
• クラスラベルなしにオブジェクト性マスクという弱い教師信号のみを用いて、意味的に整合性のあるオブジェクトクラスを無教師で発見できること。
• クラスタリングと表現学習を同時に最適化することで、特徴の分離性が向上することを示すこと。
• オブジェクト生成機構を統合することで、完全に無教師学習に拡張できること。

提案手法

• クラスタ中心点をニューラルネットワーク内のメモリユニットとして学習可能な形で、微分可能なk-meansクラスタリング目的関数を統合する。
• クラスラベルなしに、バイナリセグメンテーションマスクを用いた前景オブジェクト候補を弱い教師信号として用いる。
• CNNを訓練し、前景／背景の予測と同時に、バックプロパゲーションにより埋め込みとクラスタ割り当てを学習する。
• クラスタ中心点をネットワーク内のパラメータとして保存し、エンドツーエンド学習中に更新可能にする。
• 特徴のクラスタ間分離性を高めるためにコントラスト損失を適用する。
• CityscapesではInceptionアーキテクチャを用い、データが限られているため、畳み込み層のみを微調整する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト性マスクのみで、クラスラベルなしに意味的オブジェクトカテゴリが弱い教師ありデータから出現可能か？
• RQ2 エンドツーエンドで微分可能なクラスタリングは、後続のリtrievalタスクにおける特徴表現品質を向上させられるか？
• RQ3 統合的に訓練された埋め込みとクラスタリングシステムは、車、人、自転車といった意味的に意味のあるクラスをどれほど正確に発見できるか？
• RQ4 クラスタリング損失なしのベースライン埋め込みと比較して、本手法はクラスタの整合性と精度で優れているか？
• RQ5 本手法は、クラスの不均衡やレアオブジェクトを含む複雑で現実的なデータセット（例：Cityscapes）にも一般化可能か？

主な発見

• 本手法は、Cityscapesバリデーションセットにおいて、8つのオブジェクトカテゴリを3つのクラスタに分類する無教師クラスタリングで69.98％の精度を達成した。
• Cityscapesにおいて、車（緑）、人（青）、自転車（赤）が明確に分離されたクラスタとして検出されたが、クラスの不均衡やレアなインスタンスが存在しても問題なく動作した。
• クラスタリング損失なしのベースライン埋め込みは、車や人といった主要クラスを分離できず、単一の支配的クラスタに収束した。
• クラスラベルなしにもかかわらず、モデルは意味的に整合性のあるクラスタを学習した。例えば、自転車はしばしば人や部分的に可視な車と混同されがちであったが、依然として一貫したグループを形成した。
• 微分可能なクラスタリング目的関数により、特徴の分離性が向上し、ベースライン特徴に対する標準k-meansと比較して、より優れたクラスタリング性能を示した。
• 本手法は複雑なシーンにも一般化可能であり、オブジェクト生成機構と統合することで、完全に無教師学習への応用が有望である。