[論文レビュー] Kernel Transformer Networks for Compact Spherical Convolution

Yu-Chuan Su, Kristen Grauman|arXiv (Cornell University)|Dec 7, 2018

Advanced Vision and Imaging参考文献 40被引用数 16

ひとこと要約

本稿では、等角投影による歪みを補正する関数を学習することで、パース画像上で事前学習された畳み込みニューラルネットワーク（CNN）を360°球面画像へ効率的に転移するためのKernel Transformer Networks（KTN）を提案する。KTNは再訓練を必要とせず、異なるタスク間でのモデル転移を可能にし、従来手法と比較して顕著に低いメモリ使用量で最先端の精度を達成しており、直接の等角投影適用や接平面投影ベースラインを上回る性能を示す。

ABSTRACT

Ideally, 360° imagery could inherit the deep convolutional neural networks (CNNs) already trained with great success on perspective projection images. However, existing methods to transfer CNNs from perspective to spherical images introduce significant computational costs and/or degradations in accuracy. In this work, we present the Kernel Transformer Network (KTN). KTNs efficiently transfer convolution kernels from perspective images to the equirectangular projection of 360° images. Given a source CNN for perspective images as input, the KTN produces a function parameterized by a polar angle and kernel as output. Given a novel 360° image, that function in turn can compute convolutions for arbitrary layers and kernels as would the source CNN on the corresponding tangent plane projections. Distinct from all existing methods, KTNs allow model transfer: the same model can be applied to different source CNNs with the same base architecture. This enables application to multiple recognition tasks without re-training the KTN. Validating our approach with multiple source CNNs and datasets, we show that KTNs improve the state of the art for spherical convolution. KTNs successfully preserve the source CNN's accuracy, while offering transferability, scalability to typical image resolutions, and, in many cases, a substantially lower memory footprint.

研究の動機と目的

• パース画像上で事前学習されたCNNを再訓練せずに360°球面画像へ適応させる課題に対処すること。
• 従来手法の限界、すなわち高い計算コスト、歪みによる精度低下、および転送可能性の欠如を克服すること。
• ベースアーキテクチャが同一の異なるソースCNNに対して、学習された変換関数を介して球面幾何に適応するコンactで再利用可能なフレームワークを開発すること。

提案手法

• KTNは、極座標角とソースカーネルに依存する関数を学習し、それを用いて等角360°画像上で使用可能なカーネルに変換する。
• 等角投影に起因する幾何的歪みを、角度依存のカーネル変換を学習することで補償する。
• KTNは、360°画像の接平面投影上で元のCNNの出力を再現するように訓練され、元のモデルと整合性を保つ。
• カーネル変換をモデルパラメータから分離することで、同じベースアーキテクチャを持つ異なるソースCNNへの転送可能性を実現する。
• KTNは軽量なネットワークとして実装されており、VGGネットワークのメモリ使用量はわずか25%増加にとどまる。
• 中間層特徴量に対する教師あり損失関数を用いて訓練し、投影されたパッチ上で元のソースCNNの挙動と一致させる。

実験結果

リサーチクエスチョン

• RQ1 同じアーキテクチャを持つ複数の事前学習済みCNNを、再訓練なしに1つのKTNで360°画像へ転移できるか？
• RQ2 KTNの性能は、直接の等角投影適用や接平面投影手法と比較して、精度と効率の面でどのように異なるか？
• RQ3 KTNは360°データにおけるメモリ使用量を削減しながら、ソースCNNの精度をどの程度維持できるか？
• RQ4 特に補間誤差が蓄積しやすい深層アーキテクチャにおいて、KTNの性能はどのように変化するか？
• RQ5 KTNは、物体検出や深度推定など多様な認識タスクに一般化可能か？

主な発見

• KTNは、360°画像認識のPascal VOCおよびImageNetベンチマークで最先端の精度を達成し、SphConv、SphereNet、および投影ベースラインを上回る。
• SphConvと比較して、KTNはオーダーが桁違いに小さく、VGGベースのネットワークではわずか25%のメモリ増加にとどまる。
• 同じアーキテクチャを持つ異なるソースCNNに対して、KTNはほぼ同一の性能を維持しており、優れた転送可能性を示している。
• 最小歪み領域での評価でも、KTNは等角投影およびキューブマップ投影ベースラインを上回っており、優れたロバスト性を示している。
• ネットワークの深さが増すにつれて、KTNと補間ベース手法（例：SphereNet）の性能差が拡大しており、KTNが累積的な補間誤差を回避していることが確認された。
• 失敗事例から、全身や上空視点のオブジェクトなど極端に広いまたはレアな視点を扱う際の限界が明らかになり、360°画像におけるデータ分布のシフトが要因である可能性が示唆された。