[論文レビュー] Permutohedral Lattice CNNs

Martin Kiefel, Varun Jampani+1 more|arXiv (Cornell University)|Dec 20, 2014

Neural Networks and Applications参考文献 4被引用数 5

ひとこと要約

本稿では、置換格子データ構造を活用してスパースな入力特徴を効率的に処理する、新しい畳み込み層であるPermutohedral Lattice Convolutional Networks (PCNNs)を紹介する。スパース特徴を格子にマッピングし、フィルタリングの後、元の位置に戻すことで、グリッドに依存しない効率的な畳み込みを実現し、空間畳み込みを一般化して、色やスケールの不変性の学習を可能にする。この手法は、スパースまたは不規則にサンプリングされたデータにおいて、標準的なCNNよりもノイズ除去タスクで優れた性能を示す。

ABSTRACT

This paper presents a convolutional layer that is able to process sparse input features. As an example, for image recognition problems this allows an efficient filtering of signals that do not lie on a dense grid (like pixel position), but of more general features (such as color values). The presented algorithm makes use of the permutohedral lattice data structure. The permutohedral lattice was introduced to efficiently implement a bilateral filter, a commonly used image processing operation. Its use allows for a generalization of the convolution type found in current (spatial) convolutional network architectures.

研究の動機と目的

• RGB値やサンプリングされたピクセル位置などの非グリッド構造のスパース入力特徴を処理できる畳み込みニューラルネットワークの実現を目的とする。
• 置換格子によるドメインの符号化を用いて、従来の空間畳み込みを任意のドメインに一般化する。
• 補間や密な事前処理を必要とせず、スパース入力に対して畳み込みフィルタをエンドツーエンドで学習可能にする。
• ドメイン設計を通じて回転、スケール、色の類似性といった不変性を畳み込み演算に直接組み込む。
• 入力のスパarsityや劣化に強く、さまざまなサンプリング密度で訓練および推論が可能であることを目的とする。

提案手法

• 位置と色などのスパース入力特徴を、重心座標を用いたスプラッティング操作により置換格子にマッピングする。
• 隣接する格子点の周囲で学習可能なカーネルを用いて格子上で畳み込みを実行し、近傍サイズが受容 field を制御する。
• 格子値を元のスパース特徴位置に戻すために重心補間を用いたスライス操作により出力を再構築する。
• 格子構造により、次元の爆発的増加を回避する効率的な最近傍探索と補間が可能である。
• エンドツーエンドのバックプロパゲーションが可能で、勾配降下法による畳み込みカーネルの学習が可能である。
• 固定されたフィルタではなく、学習可能な重みを用いることで、バイリューシスフィルタリングを一般化し、スパース入力に対して適応的かつデータ駆動型のフィルタリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 密なグリッド補間を必要とせず、非定期的・スパースな入力特徴に対して効率的に動作する畳み込み層を設計できるか？
• RQ2 構造的なデータ表現を用いて、色の類似性やスケールといった不変性を畳み込み演算に直接組み込む方法は何か？
• RQ3 置換格子上で畳み込みカーネルを学習することで、固定フィルターや従来の空間畳み込みよりも、スパースまたはノイズの多い入力で優れた性能が得られるか？
• RQ4 訓練および推論時に異なるサンプリング密度に対しても性能劣化なく一般化できるか？
• RQ5 画像ノイズ除去などのタスクにおいて、スパースまたは損傷を受けた入力に対して、標準的な空間畳み込みと比較して置換格子畳み込みがどれほど性能向上をもたらすか？

主な発見

• 学習済みフィルタを用いたPCNNは、BSDS500ノイズ除去ベンチマークでベースラインの空間畳み込みCNN（26.8 dB）および固定ガウス型バイリューシスフィルタ（26.9 dB）を上回る高いPSNR（平均27.1 dB）を達成した。
• 空間畳み込みと置換格子畳み込みの組み合わせが最良の性能（PSNR 27.3 dB）を示し、両アプローチの相補的な利点を裏付けた。
• 本手法は入力のスパarsityに対して頑健であり、サブサンプリングや不規則なサンプリングといったさまざまな戦略に対しても性能を維持した。
• 置換格子により、近傍サイズsに対してO(s^d)の計算複雑度で効率的な計算が可能であり、標準的なグリッド畳み込みと同等の性能を発揮した。
• 本フレームワークは、色の類似性やスケールの不変性を効果的に符号化でき、離散的なサブサンプリングを伴わずに連続的なスケールや色空間上で直接畳み込みを実行可能であった。
• 補間などの事前処理ステップを排除し、MRTスキャンやポイントクラウドなどの測定されたスパース信号を直接処理可能となった。