[論文レビュー] Quad-networks: unsupervised learning to rank for interest point detection

Nikolay Savinov, Akihito Seki+3 more|arXiv (Cornell University)|Nov 22, 2016

Advanced Image and Video Retrieval Techniques参考文献 33被引用数 4

ひとこと要約

この論文では、人為的ラベルが不要な自己教師あり深層学習手法であるQuad-networksを提案する。この手法は、変換不変性を保つように画像上の点をランク付けするニューラルネットワークを学習し、ランク上位・下位の分位点を繰り返し可能な特徴点として用いる。本手法は、人為的ラベルなしで標準RGBおよびクロスモーダルRGB/深度特徴点検出において、最先端または同等の性能を達成する。

ABSTRACT

Several machine learning tasks require to represent the data using only a sparse set of interest points. An ideal detector is able to find the corresponding interest points even if the data undergo a transformation typical for a given domain. Since the task is of high practical interest in computer vision, many hand-crafted solutions were proposed. In this paper, we ask a fundamental question: can we learn such detectors from scratch? Since it is often unclear what points are "interesting", human labelling cannot be used to find a truly unbiased solution. Therefore, the task requires an unsupervised formulation. We are the first to propose such a formulation: training a neural network to rank points in a transformation-invariant manner. Interest points are then extracted from the top/bottom quantiles of this ranking. We validate our approach on two tasks: standard RGB image interest point detection and challenging cross-modal interest point detection between RGB and depth images. We quantitatively show that our unsupervised method performs better or on-par with baselines.

研究の動機と目的

• 人為的ラベルが曖昧で高コストであるため、ラベルなしで特徴点検出器を学習する課題に対処すること。
• 手作業で設計された特徴量や教師ありベースラインに依存せず、データそのものから検出器の挙動を学習する真の自己教師あり手法を開発すること。
• 直感的なヒューリスティクスが失敗するような、RGBと深度画像のマッチングなど、挑戦的なクロスモーダル状況においても、頑健な特徴点検出を可能にすること。
• 幾何的・光度的変換に対して繰り返し性を最適化するように、特徴点検出を自己教師ありのランキング学習問題として定式化すること。
• 教師ありラベルが存在しない状況でも、学習されたランク関数が高品質で繰り返し可能な特徴点を生成できることを実証すること。

提案手法

• 画像上の各点に実数値の応答を割り当て、全空間的位置の間でランク付けを行うように深層ニューラルネットワークを学習する。
• 変換クラス（例：視点、照明変化）に対して相対的ランクが不変になるように、コントラスト損失を最適化する。
• ランダムワープ（例：透視変換、アフィン変換、ぼかし、JPEG圧縮）を用いたデータ拡張により、変換不変性をランク付けに強制する。
• 上位および下位分位点として応答マップから特徴点を抽出し、学習された変換不変性の下で inherently 再現可能である。
• 同じフレームワークをクロスモーダル設定に適用するため、ペアドされたRGBおよび深度画像で学習し、モダリティ間で共有されるランク関数を学習する。
• 畳み込み層と全結合層を組み合わせたアーキテクチャを用い、バッチ正則化とReLU活性化関数を適用することで、局所的およびグローバルな画像パターンをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、人為的ラベルなしで繰り返し可能な特徴点を画像から検出できるか？
• RQ2 自己教師あり学習のみで、視点、ぼかし、JPEG圧縮などの異なる画像変換に対して一般化可能な検出器を学習することは可能か？
• RQ3 同じ自己教師ありランク付けフレームワークを、RGBと深度画像間のクロスモーダル検出に成功して適用できるか？
• RQ4 繰り返し性と頑健性の観点から、DoGなどの手作業特徴量に基づく検出器と比較して、自己教師あり検出器の性能はどうなるか？
• RQ5 教師なしで、エッジやボブのような意味のある特徴表現（例：フィルターや検出パターン）を学習できるか、その証拠として学習されたフィルターやパターンが示すか？

主な発見

• 提案された自己教師ありQuad-networks手法は、複数のデータセットおよび変換タイプにおいて、標準RGB画像検出でDoGと同等以上または優れた再現性を達成した。
• Oxford VGGデータセットにおいて、大規模なワープ（WarpL）を用いた手法は、Leuvenシーケンスで3000点の検出で67%の再現性を達成し、DoGの51%を上回った。
• NYUv2におけるクロスモーダルRGB/深度検出では、深層畳み込み型Quad-networkがDoGよりもはるかに高い再現性を示した。DoGは深度マップのテクスチャが乏しいために困難をきたしていた。
• 深層ネットワークの1層目の学習済みフィルタは、エッジ型、ボブ型、高周波数パターンを示しており、教師なしで意味のある特徴学習が行われていることを示している。
• ぼかし、JPEG圧縮、視点変化などの多様な変換に対して、本手法の性能は一貫して頑健であり、ほとんどの設定でDoGを上回る再現性を示した。
• 応答マップの上位および下位分位点から得られる特徴点は安定的かつ再現可能であり、検出に向けたランクベースのアプローチの有効性が裏付けられた。