[論文レビュー] Multi-modal Geolocation Estimation Using Deep Neural Networks

Jesse Johns, Jeremiah Rounds+1 more|arXiv (Cornell University)|Dec 26, 2017

Advanced Image and Video Retrieval Techniques参考文献 13被引用数 3

ひとこと要約

本論文は、デローニー三角形分割に基づくグローバルメッシュ、時刻のメタデータ、ユーザーアルバム情報を利用した、マルチモーダルな地理的局所化推定のための新規ディーブラーニング手法を提案する。1490万枚の画像のみを用いても、従来の四分木メッシュに依存するモデルに比べて10倍少ないデータで、都市レベル（25 km）では最大11%、国レベル（750 km）では3%の精度向上を達成し、最先端の性能を実現した。これは、構造的なメッシュ化とマルチモーダルデータ統合が、最小限のデータで地理的局所化性能を向上させられることを示している。

ABSTRACT

Estimating the location where an image was taken based solely on the contents of the image is a challenging task, even for humans, as properly labeling an image in such a fashion relies heavily on contextual information, and is not as simple as identifying a single object in the image. Thus any methods which attempt to do so must somehow account for these complexities, and no single model to date is completely capable of addressing all challenges. This work contributes to the state of research in image geolocation inferencing by introducing a novel global meshing strategy, outlining a variety of training procedures to overcome the considerable data limitations when training these models, and demonstrating how incorporating additional information can be used to improve the overall performance of a geolocation inference model. In this work, it is shown that Delaunay triangles are an effective type of mesh for geolocation in relatively low volume scenarios when compared to results from state of the art models which use quad trees and an order of magnitude more training data. In addition, the time of posting, learned user albuming, and other meta data are easily incorporated to improve geolocation by up to 11% for country-level (750 km) locality accuracy to 3% for city-level (25 km) localities.

研究の動機と目的

• 限られた不均衡な地理タグ付き画像データを用いた正確な画像地理的局所化の課題に対処すること。
• 効率的なメッシュ化戦略を導入することで、グローバル地理的局所化のためのディーブラーニングモデルのトレーニングにおけるデータ不足を克服すること。
• 時刻のメタデータとユーザーアルバム情報という補助信号を統合することで、地理的局所化精度を向上させること。
• 構造的なメッシュ化（デローニー三角形）が、従来の四分木手法に比べ、低データ環境下で優れた性能を示すことを実証すること。
• 屋内／屋外シーン分類と潜在変数の条件付けがモデル性能に与える影響を調査すること。

提案手法

• 538（粗い）または6,565（細かい）の三角形セルを有するグローバルメッシュを、デローニー三角形分割により作成し、地理的局所化のための空間的なビンとして用いる。
• 画像特徴量をメッシュセルにマップし、マルチクラス分類のためのクロスエントロピー損失を用いて、インセプションベースの深層ニューラルネットワークを訓練する。
• 時刻の連続的埋め込みをモデルの最終層に連結することで、局所化精度を向上させる。
• ユーザーログインIDを用いて画像をアルバムにグループ化し、ユーザーレベルの一貫性をモデル化するためのユーザーアベーリージングまたはアルバムベースの集約を適用する。
• ユーザーレベルでの過剰代表を回避するためのデータサンプリング戦略を採用し、バイアス低減のためランダムサンプリングを実施する。
• 空間的精度を複数の解像度（1 km、25 km、200 km など）で評価し、クラス分布の忠実度を測るためにKLダイバージェンスを用いる。

実験結果

リサーチクエスチョン

• RQ1 低データ環境下での地理的局所化において、デローニー三角形分割に基づくメッシュ化は、四分木ベースのメッシュ化を上回る性能を示すか？
• RQ2 時刻のメタデータを統合することで、異なる空間的解像度において、どの程度地理的局所化精度が向上するか？
• RQ3 ユーザーログインIDでグループ化されたアルバム情報（ユーザーベース）は、モデルの一般化性能と精度にどのような影響を与えるか？
• RQ4 屋内／屋外シーン分類に条件付けを施すことで、地理的局所化性能は向上するか？
• RQ5 粗いメッシュは、空間的分解能が低いにもかかわらず、地域および国レベルの解像度（200 km および 750 km）において、細かいメッシュを上回る性能を示すか？

主な発見

• 時刻のメタデータとユーザーアルバム情報を統合した粗いデローニー・メッシュは、国レベル（750 km 解像度）で68.61%の精度を達成し、10倍多いデータでトレーニングされた最先端モデルを上回った。
• 時刻のメタデータを統合した場合、都市レベル（25 km）の精度が11%向上（30.24% → 35.85%）、国レベルの精度が3%向上（63.17% → 68.61%）した。
• 時刻とユーザーアルバム情報を統合した粗いメッシュは中央誤差1,124 kmを達成し、ベースモデル（M1）の3,897 kmに比べ顕著に低い値となった。
• 粗いメッシュは、地域および国レベルの解像度（200 km および 750 km）において、細かいメッシュを上回った。これは、高い空間的分解能が、粗いスケールの地理的局所化において必ずしも有益ではないことを示している。
• 時刻のメタデータを統合したモデル（M2）は、KLダイバージェンスを0.6718から0.4998に低減させ、真のクラス分布との整合性が高く、バイアスが低いことを示した。
• 粗いメッシュセルの重心を用いた最良のパフォーマンスでは、都市レベル（25 km）で81.97%の精度を達成した。これは、モデルがまだ最適ではないが、マルチモーダル入力のおかげで著しく向上したことを示している。