[論文レビュー] Universal representations:The missing link between faces, text, planktons, and cat breeds

Hakan Bilen, Andrea Vedaldi|arXiv (Cornell University)|Jan 25, 2017

Advanced Image and Video Retrieval Techniques参考文献 52被引用数 127

ひとこと要約

本論文は、単一のニューラルネットワークが非常に多様な視覚ドメインに跨って普遍的な表現を学べるかを検証し、適切な正規化（ドメイン固有のスケーリングやインスタンス正規化を含む）を用いると広範な共有が可能であることを示している。

ABSTRACT

With the advent of large labelled datasets and high-capacity models, the performance of machine vision systems has been improving rapidly. However, the technology has still major limitations, starting from the fact that different vision problems are still solved by different models, trained from scratch or fine-tuned on the target data. The human visual system, in stark contrast, learns a universal representation for vision in the early life of an individual. This representation works well for an enormous variety of vision problems, with little or no change, with the major advantage of requiring little training data to solve any of them. In this paper we investigate whether neural networks may work as universal representations by studying their capacity in relation to the “size” of a large combination of vision problems. We do so by showing that a single neural network can learn simultaneously several very different visual domains (from sketches to planktons and MNIST digits) as well as, or better than, a number of specialized networks. However, we also show that this requires to carefully normalize the information in the network, by using domain-specific scaling factors or, more generically, by using an instance normalization layer.

研究の動機と目的

• 多様な領域（顔、テキスト、プランクトン、スケッチなど）を横断して、普遍的な視覚表現が機能し得るというアイデアを動機づける。
• 単一のネットワークが同時に複数の異なる視覚タスクを学習するのに必要な能力を評価する。
• 異なる共有戦略と正規化技術がドメイン間性能にどのように影響するかを評価する。
• 共有ネットワーク内で効果的なドメイン適応を可能にする正規化スキームを特定する。

提案手法

• 複数のドメインからの学習を、共有のブループリント phi_0 とドメイン固有のアダプタ phi_d' を用いて平均リスクを最小化する方式として定式化する。
• 層の後に適用されるドメイン依存のスケーリング s_d とバイアス b_d を用いた適応特徴共有を提案し、パラメータを選択するドメインミュクスを導入する。
• バッチ正規化（BN）とインスタンス正規化（IN）を、ドメイン固有または普遍的なスケーリング/モーメントとともに組み込み、BN+ や IN の変種を検討する。
• ドメインをバランスさせるため、純ドメインのミニバッチをラウンドロビン方式で訓練し、ドメイン固有の BN モーメントを可能にする。
• 共有の深さ（深い共有、部分的共有）を検討し、ネットワーク容量を拡大してドメイン間性能を評価する。
• 小規模（10の多様なデータセット）と大規模（ImageNet、VGG-Face、Synth90k）の設定で評価可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 単一のCNNが非常に多様な視覚ドメイン間でパラメータを共有しても、性能低下なく実現できるか？
• RQ2 共有構造の量（全共有、深い共有、部分共有）がドメイン間性能にどのように影響するか？
• RQ3 どの正規化戦略がドメイン間での普遍的表現を最もよく支えるか（ドメイン固有パラメータ vs 普遍パラメータを持つ BN、IN、BN+ など）？
• RQ4 ドメイン間で共有を強制したとき、モデル容量を増やすと結合性能にどう影響するか？
• RQ5 新しいドメインの普遍的表現を可能にするドメイン非依存の正規化の実用性はどの程度か？

主な発見

• 単一のCNNがCIFAR-10、MNIST、SVHNのように多様なデータセットの全層を共有しても、性能低下なし。
• 深い共有（最後の分類器を除く全層を共有）は、パラメータを削減しつつ、ドメイン固有ネットワークの訓練よりもよく機能することが多い。
• ドメイン固有のスケーリングパラメータを用いた全共有は、複数ドメインにまたがって別個のモデルとほぼ同等の性能を達成し、容量を増やすと効果が高まる。
• ドメイン固有の BN モーメントとスケーリングはドメイン間の性能を向上させ、インスタンス正規化はドメイン固有パラメータを減らしつつ競争力のある普遍的表現を生み出す。
• 普遍的なスケーリングを備えたインスタンス正規化は、単一のパラメータセットでドメイン間で動作でき、実用的な普遍性をわずかな性能コストで提供。
• 大規模タスクでは、ImageNetとVGG-Face間で畳み込みウェイトを共有しても性能は近接を保ち、Synth90kと共に学習するとパラメータ効率が高く、共有がスケーラブルになる。