[論文レビュー] Lost in the Past: Recognizing Locations Over Large Time Lags.

Basura Fernando, Tatiana Tommasi+1 more|arXiv (Cornell University)|Sep 26, 2014

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 2

ひとこと要約

本論文は、現代のウェブキャプチャ画像を参照として、古い写真の場所を認識するという新しいタスクを導入する。ドメイン適応特徴学習アプローチを提案し、時間に依存しない強力な視覚的特徴を特定することで、長大な時間的ギャップをも超えて局所化精度を顕著に向上させる。

ABSTRACT

Would it be possible to automatically associate ancient pictures to modern ones and create fancy cultural heritage city maps? We introduce here the task of recognizing the location depicted in an old photo given modern annotated images collected from the Internet. We present an extensive analysis on different features, looking for the most discriminative and most robust to the image variability induced by large time lags. Moreover, we show that the described task benefits from domain adaptation.

研究の動機と目的

• 長大な時間的・視覚的変化があるにもかかわらず、古代の写真をその現代の地理的位置に一致させるという課題に対処すること。
• 都市の変化に伴い数十年にわたり安定した、最も判別力があり強固な視覚的特徴を特定すること。
• ドメイン適応が時間的ギャップを越えた画像局所化の精度をどの程度向上させるかを評価すること。
• 歴史的画像と現代の画像をリンクさせることで、文化的遺産都市マップの自動作成を可能にすること。

提案手法

• 本手法は、古くからの画像と現代の画像の両方から特徴を抽出するために深層ニューラルネットワークを用いる。
• 古くからの画像ドメインと現代の画像ドメイン間の特徴分布を統合するためにドメイン適応技術を適用する。
• 時間遅延のある画像間の特徴を比較・マッチングするために、シアンプルネットワークアーキテクチャを用いる。
• 時間的・環境的変化に対してどの程度頑健かを評価するため、さまざまな特徴タイプ（例：CNNベース、手作業で設計されたもの）を検証する。
• 大規模なデータセット（ウェブから取得したペア化された歴史的・現代の画像）を用いてモデルを訓練する。
• 同じ場所の画像に対して類似した特徴を促進するために、対照的損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 現代のウェブ画像から得られるディープ特徴は、古い写真の場所を効果的に認識できるか？
• RQ2 どの視覚的特徴が長大な時間遅延や都市の変化に対して最も頑健か？
• RQ3 ドメイン適応は、時間的ギャップを越えて局所化精度をどの程度向上させるか？
• RQ4 このアプローチは、どの程度自動的な文化的遺産マッピングを可能にするか？

主な発見

• 提案されたドメイン適応手法は、適応なしのベースラインモデルと比較して、顕著に局所化精度を向上させる。
• CNNベースの特徴は、手作業で設計された特徴よりも、長大な時間遅延において、頑健さと判別力の両面で優れている。
• 都市開発による外観の顕著な変化があっても、モデルは顕著な性能を示す。
• ウェブ収集された現代の画像を活用することで、歴史的写真の場所特定をスケーラブルかつ低コストで実現できる。