[論文レビュー] "Mental Rotation" by Optimizing Transforming Distance

Wei‐Guang Ding, Graham W. Taylor|arXiv (Cornell University)|Jun 11, 2014

Image Retrieval and Classification Techniques参考文献 31被引用数 10

ひとこと要約

本稿では、近似最近傍分類の性能を向上させるために、精神的回転に類似した変換最適化を可能にする新規類似度メトリック「変換距離（Transforming Distance, TD）」を提案する。画像変換の関係的モデルを学習し、テスト時における照合画像とデータベース画像間のアライメント最適化を行うことで、希なデータベースに対しても頑健な性能を達成し、TFDおよびNORBデータセットにおいて標準KNNを上回る結果を示す。特に、データスパarsityが高い状況下でも顕著な優位性を示す。

ABSTRACT

The human visual system is able to recognize objects despite transformations that can drastically alter their appearance. To this end, much effort has been devoted to the invariance properties of recognition systems. Invariance can be engineered (e.g. convolutional nets), or learned from data explicitly (e.g. temporal coherence) or implicitly (e.g. by data augmentation). One idea that has not, to date, been explored is the integration of latent variables which permit a search over a learned space of transformations. Motivated by evidence that people mentally simulate transformations in space while comparing examples, so-called "mental rotation", we propose a transforming distance. Here, a trained relational model actively transforms pairs of examples so that they are maximally similar in some feature space yet respect the learned transformational constraints. We apply our method to nearest-neighbour problems on the Toronto Face Database and NORB.

研究の動機と目的

• 空間的変換によるクラス内変動が大きい場合に標準KNNが抱える限界を解消すること。
• 人間の精神的回転にインspiredされ、画像ペア間の潜在的変換を学習することで動的類似度をモデル化すること。
• 学習された変換制約に従って、類似度を最大化するように画像表現を最適化することにより、最近傍分類を改善すること。
• 弱教師ありまたは不完全なデータセットを模擬する高比率のデータ欠落状況下での手法の頑健性を評価すること。
• 関係的モデルが変換探索を介してテスト時における類似度最適化を効果的に可能にできることを示すこと。

提案手法

• 画像ペア上で訓練される関係的モデルとして、因数分解ガウス型制限ボルツマンマシン（fgRBM）を用い、有効な変換空間を学習する。
• テスト時最適化を定式化し、学習済み変換多様体を尊重しながら、クエリ画像の表現をターゲット画像の表現に一致させる変換を実行する。
• 変換されたクエリ表現とターゲット表現間の特徴距離を最小化することで、精神的回転を効果的にシミュレートする。
• 2つのバリエーションを評価：SmallTrans（小規模で離散的な回転に限定）とAnyTrans（任意の変換を許容）。両者は学習された変換空間の複雑さで異なる。
• KNNフレームワークに統合され、各データベース例が変換された表現の多様体をカバーする「Transforming KNN」として実装される。
• TFD（トロント顔データベース）およびNORBで評価され、特徴距離とピクセル距離の両方を用い、データベースサイズと欠損データ率に関するアブレーションも実施。

実験結果

リサーチクエスチョン

• RQ1 学習された変換空間により、深層特徴空間における精神的回転をシミュレートすることで、最近傍分類の性能が向上するか？
• RQ2 K値が増加し、データスパarsityが高まる状況下で、Transforming KNNの性能は標準KNNと比べてどうなるか？
• RQ3 学習データの大部分が欠落している場合でも、この手法は頑健性を維持できるか？
• RQ4 関係的モデルは複雑な変換に一般化可能か？また、モデル容量（例：fgRBM次元）が性能に与える影響は？
• RQ5 弱教師ありソース（例：動画）から得られる関係的ラベルを、このフレームワークでどの程度活用できるか？

主な発見

• TFDs1およびTFDs2の両データセットで、Transforming KNNは標準KNNを上回る精度を達成し、K値が増加するにつれて顕著に向上。これは、より多様で変換された例を活用できるため。
• NORBでは、標準KNNの精度はK値が増加するにつれて方向依存の一致により低下するが、Transforming KNNは性能を維持または向上させ、方向ばらつきに対して頑健であることが示された。
• TFDデータの70％が欠落している状況でも、Transforming KNNは完全なデータベースを用いた標準KNNと同等の精度を維持し、データスパarsityに対する高い耐性を示した。
• NORBでは、AnyTrans KNNはデータの99.9％が欠落している状況でも60％の精度を維持しており、極端なデータ不足下でも高い頑健性を示した。
• SmallTrans KNNは低欠損率ではAnyTrans KNNを上回るが、欠損率が高くなると急速に性能が低下し、データがスパースな状況では単純な変換モデルが効果を発揮しない可能性があることが示唆された。
• AnyTrans用にはSmallTransより高い次元（256）をfgRBMが必要とされ、より複雑な変換にはより高いモデル容量が要るということが示された。