[論文レビュー] When and how do CNNs generalize to out-of-distribution category-viewpoint combinations?

Spandan Madan, Timothy Henry+7 more|arXiv (Cornell University)|Jul 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 84被引用数 6

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNNs）が、分布外（OOD）のオブジェクトのカテゴリ・アングルの組み合わせに対して、いつ、どのように一般化するかを調査している。本研究では、インダミイン・データの多様性を高めることでOOD一般化が向上すること、共有ネットワークは分離ネットワークと比較してOOD性能を損なうことが判明し、OOD一般化はニューロンの特化（カテゴリまたはアングルのいずれかにのみ選択的に反応するニューロンが生まれること）によって実現されることを明らかにした。

ABSTRACT

Object recognition and viewpoint estimation lie at the heart of visual understanding. Recent works suggest that convolutional neural networks (CNNs) fail to generalize to out-of-distribution (OOD) category-viewpoint combinations, ie. combinations not seen during training. In this paper, we investigate when and how such OOD generalization may be possible by evaluating CNNs trained to classify both object category and 3D viewpoint on OOD combinations, and identifying the neural mechanisms that facilitate such OOD generalization. We show that increasing the number of in-distribution combinations (ie. data diversity) substantially improves generalization to OOD combinations, even with the same amount of training data. We compare learning category and viewpoint in separate and shared network architectures, and observe starkly different trends on in-distribution and OOD combinations, ie. while shared networks are helpful in-distribution, separate networks significantly outperform shared ones at OOD combinations. Finally, we demonstrate that such OOD generalization is facilitated by the neural mechanism of specialization, ie. the emergence of two types of neurons -- neurons selective to category and invariant to viewpoint, and vice versa.

研究の動機と目的

• CNNが分布外（OOD）のカテゴリ・アングルの組み合わせに対して一般化できる条件を理解すること。
• 特にカテゴリとアングルのための共有ネットワーク対分離ネットワークというアーキテクチャ的選択が、OOD一般化に与える影響を調査すること。
• OOD一般化を可能にする神経メカニズム、特にニューロン応答の特化を同定すること。
• インダミインの組み合わせの多様性（データ多様性）が、OOD一般化性能の向上に果たす役割を検討すること。
• カテゴリとアングルの共同学習が、未観測の組み合わせへの一般化を妨げるか、助けるかを特定すること。

提案手法

• インダミインのオブジェクトカテゴリ・アングルの組み合わせの多様なセットを用いてCNNを学習し、OODの組み合わせへの一般化を検証する。
• カテゴリ用とアングル用に分離したネットワークと、両者を共同で学習する共有ネットワークの、インダミインおよびOODの両組み合わせにおける性能を比較する。
• 総トレーニングデータサイズを一定に保ちながら、インダミインの組み合わせ数を系統的に変化させ、データ多様性の影響を分離して評価する。
• ニューロンレベルの活性化を分析し、アングルにかかわらずカテゴリにのみ選択的に反応するニューロン、逆にカテゴリにかかわらずアングルにのみ選択的に反応するニューロンの特化を同定する。
• 活性化に基づく分析を用いて、異なるアーキテクチャにおいて学習された特徴量の不変性と選択性の度合いを定量化する。
• ホールドアウトされたOODのカテゴリ・アングルペアにおける性能を評価し、ゼロショット転送の成功度を測定する。

実験結果

リサーチクエスチョン

• RQ1 総トレーニングデータサイズを一定に保ったまま、インダミインのカテゴリ・アングルの組み合わせ数を増やすことで、OODの組み合わせへの一般化が向上するか？
• RQ2 カテゴリとアングルのための分離ネットワークと共有ネットワークというアーキテクチャの違いが、オブジェクトカテゴリと3DアングルのOOD一般化性能に与える影響は何か？
• RQ3 CNNにおける成功したOOD一般化の背後にある神経メカニズムは何か？
• RQ4 カテゴリまたはアングルに独立して選択的に反応するニューロン（特化ニューロン）は、OOD一般化をどの程度促進するか？
• RQ5 アーキテクチャの変更なしに、データ多様性だけがOOD一般化を可能にするか？

主な発見

• インダミインのカテゴリ・アングルの組み合わせ数を増やすことで、総トレーニングデータサイズを一定に保ったまま、OODの組み合わせへの一般化が顕著に向上することが判明した。
• カテゴリとアングルのための分離ネットワークは、インダミインデータでは性能が劣るが、OODの組み合わせでは共有ネットワークを上回る性能を示した。
• OOD一般化は、ニューロンの特化によって強く促進されており、特定のニューロンがカテゴリにのみ選択的に反応し、アングルに依存せず、逆にアングルにのみ選択的に反応するニューロンが生まれることで実現される。
• アングルに不変なカテゴリ選択的ニューロンと、カテゴリに不変なアングル選択的ニューロンの出現が、OOD一般化を可能にする主要なメカニズムである。
• 共有アーキテクチャは、カテゴリとアングルの表現学習の間に干渉を引き起こすため、OOD一般化を阻害する。
• アーキテクチャの変更なしに、データ多様性そのものだけで、意味のあるOOD一般化が可能であることが示された。これは、データのキュレーションが、強固な視覚的理解にとって重要な要因であることを示唆している。