[論文レビュー] Transfer of View-manifold Learning to Similarity Perception of Novel Objects

Xingyu Lin, Hao Wang+4 more|arXiv (Cornell University)|Mar 31, 2017

Neural dynamics and brain function被引用数 7

ひとこと要約

本稿では、オブジェクトの一貫性を維持するための視覚的制約を組み込んだ、深層畳み込みニューラルネットワークであるObject Persistence Net（OPnet）を提案する。視覚的変化に強いオブジェクトの連続性を学習するため、アレクサンネットを視覚的多様体（view-manifold）の制約のもとで微調整することで、新しいオブジェクト（カテゴリ内およびカテゴリ間）に対する類似性判断を優れた性能で達成した。このモデルは、人間の知覚的類似性をよりよく再現する部分レベルの抽象化を学習しており、ベースラインモデルよりも優れた一般化性能を示した。

ABSTRACT

We develop a model of perceptual similarity judgment based on re-training a deep convolution neural network (DCNN) that learns to associate different views of each 3D object to capture the notion of object persistence and continuity in our visual experience. The re-training process effectively performs distance metric learning under the object persistency constraints, to modify the view-manifold of object representations. It reduces the effective distance between the representations of different views of the same object without compromising the distance between those of the views of different objects, resulting in the untangling of the view-manifolds between individual objects within the same category and across categories. This untangling enables the model to discriminate and recognize objects within the same category, independent of viewpoints. We found that this ability is not limited to the trained objects, but transfers to novel objects in both trained and untrained categories, as well as to a variety of completely novel artificial synthetic objects. This transfer in learning suggests the modification of distance metrics in view- manifolds is more general and abstract, likely at the levels of parts, and independent of the specific objects or categories experienced during training. Interestingly, the resulting transformation of feature representation in the deep networks is found to significantly better match human perceptual similarity judgment than AlexNet, suggesting that object persistence could be an important constraint in the development of perceptual similarity judgment in biological neural networks.

研究の動機と目的

• 視覚的経験におけるオブジェクトの一貫性制約が、人工ニューラルネットワークにおける知覚的類似性判断に与える影響を調査すること。
• 3Dオブジェクトの多視点学習を通じて、不変的かつ視点に強い表現を学習する深層学習モデルを開発すること。
• 得られた特徴表現が、訓練済みのオブジェクトとは異なるカテゴリの新規未学習オブジェクトに対しても一般化するかを評価すること。
• 学習された視覚的多様体構造が、アレクサンネットのような標準的なDCNNと比較して、人間の知覚的類似性判断をどれほどよく再現するかを検証すること。

提案手法

• 同じオブジェクトの異なる視点間の距離を最小化することでオブジェクトの一貫性を強制するため、事前学習済みアレクサンネットをシアンプルトリプルネットアーキテクチャで微調整する。
• レンダリングされた3Dオブジェクトの視点画像を用いて学習し、トリプル損失を用いて同じオブジェクトの異なる視点の表現を近づける。
• 同じカテゴリおよび異なるカテゴリのオブジェクト間の視覚的多様体を分離するために、距離メトリック学習を適用する。
• オブジェクト表現の分離度を測定するためのスコア指標を用いる：$\text{Score}_i = \frac{\sigma_{\text{inter\_instance}}}{\sigma_{\text{intra\_instance}}}$。
• 合成データおよび実世界のデータセット（人間の類似性判断データを含む）を用いて、新規オブジェクトの検索および類似性判断の性能を評価する。
• 訓練済みおよび未訓練のカテゴリにおけるインスタンスおよびカテゴリ検索の両方で、OPnetの性能をアレクサンネットおよび他のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 訓練中にオブジェクトの一貫性を強制することで、ネットワークが新規に未学習のオブジェクトの知覚的類似性判断能力が向上するか？
• RQ2 オブジェクトの一貫性によって誘発される視覚的多様体学習は、訓練済みオブジェクトを超えて、新規インスタンスおよびカテゴリに一般化するか？
• RQ3 OPnetが得た特徴表現は、標準的なDCNN（例：アレクサンネット）と比較して、人間の知覚的類似性判断をどれほどよく再現するか？
• RQ4 性能の向上は、カテゴリ特異的またはオブジェクト特異的なパターンではなく、抽象的で部分レベルの特徴を学習したためであるか？

主な発見

• OPnetは新規インスタンステストセットで類似性スコア0.535を達成し、アレクサンネットの0.328よりも顕著に高い値を示しており、同じオブジェクト内でのクラスタリング強化とオブジェクト間の分離が図られていることが示された。
• モデルは訓練済みおよび未訓練のカテゴリの両方で新規オブジェクトへの一般化を示しており、一般化可能で抽象的な表現が学習された可能性が示唆された。
• OPnetは合成された新規オブジェクトにおけるインスタンスおよびカテゴリ検索で優れた性能を示し、アレクサンネットよりもカテゴリ内識別性能が向上した。
• OPnetが学習した視覚的多様体は、アレクサンネットよりも人間の知覚的類似性判断に近い結果を示し、脳におけるオブジェクトの一貫性が知覚的類似性を規定するという仮説を支持した。
• 実世界のデータセットではカテゴリ構造が明確でないため、OPnetの優位性は低下した。これは、その強みが構造的でカテゴリベースの識別に起因していることを示唆した。
• この手法は、オブジェクトの一貫性制約が、オブジェクトインスタンスおよびカテゴリを跨いで一般化可能な部分レベルの抽象化を促進する可能性があることを示唆している。