[論文レビュー] Retouchdown: Adding Touchdown to StreetLearn as a Shareable Resource for Language Grounding Tasks in Street View

Harsh Mehta, Yoav Artzi+3 more|arXiv (Cornell University)|Jan 10, 2020

Multimodal Machine Learning Applications参考文献 22被引用数 20

ひとこと要約

本論文は、StreetLearnデータセットの公開済みかつプライバシー準拠の拡張版であるRetouchdownを紹介する。このデータセットは、Touchdownナビゲーションおよび空間記述解消タスクから得られた29,641枚のStreet Viewパノラマを統合している。両タスクを元の研究と同等のパフォーマンスで再実装することで、StreetLearnに含まれるぼやけたパノラマが、現実の都市環境におけるビジョンアンドランゲージナビゲーションおよび空間グラウンディング分野の高精度な研究に適していることを実証している。

ABSTRACT

The Touchdown dataset (Chen et al., 2019) provides instructions by human annotators for navigation through New York City streets and for resolving spatial descriptions at a given location. To enable the wider research community to work effectively with the Touchdown tasks, we are publicly releasing the 29k raw Street View panoramas needed for Touchdown. We follow the process used for the StreetLearn data release (Mirowski et al., 2019) to check panoramas for personally identifiable information and blur them as necessary. These have been added to the StreetLearn dataset and can be obtained via the same process as used previously for StreetLearn. We also provide a reference implementation for both of the Touchdown tasks: vision and language navigation (VLN) and spatial description resolution (SDR). We compare our model results to those given in Chen et al. (2019) and show that the panoramas we have added to StreetLearn fully support both Touchdown tasks and can be used effectively for further research and comparison.

研究の動機と目的

• Google Street Viewの利用規約およびプライバシーポリシーに準拠しつつ、Touchdownデータセットへの広範な研究アクセスを可能にすること。
• PIIの除去後、TouchdownのパノラマをStreetLearnデータセットに統合し、長期的な利用可能性と再現可能性を確保すること。
• プライバシー保護のためのぼかし処理が、ビジョンアンドランゲージナビゲーション（VLN）および空間記述解消（SDR）タスクのパフォーマンスに悪影響を及えないことを検証すること。
• 研究コミュニティ全体で一貫したベンチマークが行えるよう、VLNおよびSDRタスクのオープンソース実装を提供すること。
• スケーラブルで検証済みかつアップデート可能なデータセットを用いて、現実の都市環境における言語グラウンディングに関する今後の研究を支援すること。

提案手法

• 著者らは、Touchdownデータセットから生のStreet Viewパノラマを取得し、元のStreetLearnリリースで用いられたのと同じプロセスに従って、個人を特定できる情報（PII）を除去するプライバシー保護型ぼかしパイプラインを適用した。
• クリーニング済みのパノラマを既存のStreetLearnデータセットに統合し、合計サイズを114k枚から144k枚に増加させた。
• ビジョンアンドランゲージナビゲーション（VLN）および空間記述解消（SDR）の両方のタスク用に参照実装を開発した。VLNではアクタ・ラーナーアーキテクチャ内での模倣学習を、SDRでは標準的なモデルを用いた。
• 標準的な指標を用いてパフォーマンスを評価した：タスク完了率（TC）、最短経路距離（SPD）、成功重み付き編集距離（SED）、正規化された動的時間ワープ（nDTW）、成功重み付きDTW（SDTW）。
• 再実装の結果を元のTouchdown論文の結果と比較し、ぼかし処理がモデルパフォーマンスに悪影響を及げないことを確認した。
• コードおよびデータはVALANフレームワーク経由でリリースされ、再現可能性とコミュニティへのアクセスを確保した。

実験結果

リサーチクエスチョン

• RQ1 プライバシークリア済みのTouchdownデータセットのStreet Viewパノラマを、ビジョンアンドランゲージタスクのパフォーマンスに悪影響を及げることなく、StreetLearnデータセットに効果的に統合できるか？
• RQ2 StreetLearnで用いられるPIIぼかし処理が、ビジョンアンドランゲージナビゲーションおよび空間記述解消タスクのモデルパフォーマンスに悪影響を及えるか？
• RQ3 再リリースされたパノラマを用いたTouchdownタスクの再実装は、元の研究と同等のパフォーマンスを達成できるか？
• RQ4 TouchdownのStreetLearnへの統合が、現実の都市環境における言語グラウンディング研究の可能性をどの程度高めるか？
• RQ5 プライバシーやデータ使用ポリシーを尊重しつつ、研究コミュニティに大規模で現実世界の視覚データセットを責任を持って共有する方法は何か？

主な発見

• RetouchdownによるLingUNetモデルの再実装は、元のTouchdown論文よりも高いタスク完了率（TC）の正確性を達成した一方で、平均距離誤差はわずかに悪化した。これは、ぼかし処理によるパフォーマンス劣化がないことを示している。
• ビジョンアンドランゲージナビゲーション用に再実装されたRConcatモデルは、すべての指標で元の結果を上回り、12.8%のタスク完了率および1.4%のSDTWスコアを達成した。これは、リリースされたデータの有効性を裏付けるものである。
• 元のパノラマからの特徴量を用いたパフォーマンス比較により、元の論文との差異がぼかし処理に起因するものではないことが確認され、リリースされたデータの整合性が検証された。
• Touchdownパノラマの統合により、StreetLearnデータセットのサイズは114k枚から144k枚に増加し、都市ナビゲーションタスクの訓練および評価に向けたより強固で多様なデータが可能になった。
• VALANフレームワーク経由でのオープンソースコードおよびデータのリリースにより、再現可能性が保証され、今後の言語グラウンディングおよび現実世界の視覚ナビゲーション分野の研究を支援する。
• 本研究は、プライバシー保護型のデータキュレーションが研究の有用性と上手くバランスを取れることが確認された。これにより、コンピュータビジョンおよびNLP分野における大規模で現実世界のベンチマークが実現可能になった。