[論文レビュー] Neural Best-Buddies: Sparse Cross-Domain Correspondence

Kfir Aberman, Jing Liao+4 more|arXiv (Cornell University)|May 10, 2018

Advanced Vision and Imaging参考文献 51被引用数 12

ひとこと要約

本稿では、事前学習済みの畳み込みニューラルネットワーク（CNN）から得られる階層的深層特徴を活用して、異なる意味的カテゴリの画像間で意味的・幾何学的に類似した部分を特定する、新しいスパarsなクロスドメイン対応手法であるNeural Best-Buddies（NBB）を提案する。特徴の階層に跨って相互最近傍（ベスト・バディ）を計算し、粗い段階から細かい段階へと位置を精緻化しながら、局所的なスタイル変換を用いて外観を一致させる。これにより、挑戦的なクロスドメイン状況下でも頑健な対応が達成され、画像モーフィングやハイブリッド画像作成といった応用が高精度で可能になる。

ABSTRACT

Correspondence between images is a fundamental problem in computer vision, with a variety of graphics applications. This paper presents a novel method for sparse cross-domain correspondence. Our method is designed for pairs of images where the main objects of interest may belong to different semantic categories and differ drastically in shape and appearance, yet still contain semantically related or geometrically similar parts. Our approach operates on hierarchies of deep features, extracted from the input images by a pre-trained CNN. Specifically, starting from the coarsest layer in both hierarchies, we search for Neural Best Buddies (NBB): pairs of neurons that are mutual nearest neighbors. The key idea is then to percolate NBBs through the hierarchy, while narrowing down the search regions at each level and retaining only NBBs with significant activations. Furthermore, in order to overcome differences in appearance, each pair of search regions is transformed into a common appearance. We evaluate our method via a user study, in addition to comparisons with alternative correspondence approaches. The usefulness of our method is demonstrated using a variety of graphics applications, including cross-domain image alignment, creation of hybrid images, automatic image morphing, and more.

研究の動機と目的

• 形状や外観が著しく異なるオブジェクトを含む異なる意味的ドメインからの画像間におけるスパース対応の課題に対処すること。
• そのような画像ペア間で意味的に関連する部分や幾何学的に類似した部分を特定すること。
• 正確で頑健な対応を実現するため、階層的深層特徴を活用した粗〜細のフレームワークを構築すること。
• 局所的なスタイル変換を用いて共通の外観空間に統一することで、ドメイン間の外観差を克服すること。
• 画像モーフィング、アライメント、ハイブリッド画像作成といった実用的グラフィックス応用を可能にすること。

提案手法

• 本手法は、事前学習済みのCNNから抽出された階層的特徴マップにおいて、Neural Best-Buddies（NBB）を相互最近傍として計算する。
• NBBを粗い層から細い層へと伝搬させ、直前の層の受容野制約を用いて空間的位置を精緻化する。
• 各層ごとに正規化された活性マップを計算し、高い活性値に基づいてNBBをフィルタリングすることで、有意義な特徴のみを保持する。
• インスタンス正規化に基づくスタイル変換を用いて局所的な外観を一致させ、対応する領域の平均と標準偏差を共通の外観空間に統合する。
• 特徴統計のハイブリッドを用いた類似度メトリクスにより、クロスドメイン設定下でも信頼性の高いピクセル群の相関を可能にする。
• 階層的精緻化により、最終的な対応点をピクセル単位の解像度で局所化する。

実験結果

リサーチクエスチョン

• RQ1 階層的深層特徴における相互最近傍マッチングが、異なる意味的ドメインからの画像間で頑健なスパース対応を可能にするか。
• RQ2 異なるドメインの画像間の外観差をどのように軽減することで、対応精度を向上させられるか。
• RQ3 NBBの粗〜細の精緻化が、顕著な画像特徴における局所化精度をどの程度向上させるか。
• RQ4 本手法が、画像モーフィングやハイブリッド画像作成といった多様なグラフィックス応用に一般化可能か。
• RQ5 局所的スタイル変換による共通外観空間の利用が、標準的な相関手法と比較して対応品質をどの程度向上させるか。

主な発見

• 提案手法NBBは、形状的・外観的差が著しい状況下でも、ベースライン手法と比較して優れた対応精度を達成する。
• 局所的スタイル変換による共通外観空間の利用は、低レベル特徴マッチングにおける誤検出の削減が実証され、マッチング精度を顕著に向上させる。
• 正規化された活性マップのしきい値（γ = 0.05）を用いたNBBのフィルタリングにより、意味的に有意義で幾何学的に顕著な対応のみが効果的に保持される。
• ユーザースタディの結果、NBBが生成する対応は、他の手法と比較して知覚的にもより正確で、グラフィックス応用においても有用であると確認された。
• 本手法は、ライオンとネコのような顕著に異なるオブジェクト間でも、高品質な画像モーフィングとハイブリッド画像作成を成功裏に実現した。
• NBBの粗〜細の伝搬により、エッジやコーナーといったキーフィーチャーがピクセル単位の解像度で正確に局所化された。