[논문 리뷰] Retouchdown: Adding Touchdown to StreetLearn as a Shareable Resource for Language Grounding Tasks in Street View

Harsh Mehta, Yoav Artzi외 3명|arXiv (Cornell University)|2020. 01. 10.

Multimodal Machine Learning Applications참고 문헌 22인용 수 20

한 줄 요약

이 논문은 스트리트러닝 데이터셋의 공개적이고 개인정보 보호에 적합한 확장판인 Retouchdown를 소개한다. 이는 터치다운 탐색 및 공간 기술 해결 과제에서 유래한 29,641개의 스트리트뷰 파ano라마를 통합한다. 원래 연구와 동일한 성능을 유지하면서 두 과제를 재구현함으로써, 스트리트러닝에서 사용되는 흐린 파ano라마가 실제 도시 환경에서 시각-언어 탐색 및 공간 기반에 대한 고해상도 연구에 적합하다는 것을 입증한다.

ABSTRACT

The Touchdown dataset (Chen et al., 2019) provides instructions by human annotators for navigation through New York City streets and for resolving spatial descriptions at a given location. To enable the wider research community to work effectively with the Touchdown tasks, we are publicly releasing the 29k raw Street View panoramas needed for Touchdown. We follow the process used for the StreetLearn data release (Mirowski et al., 2019) to check panoramas for personally identifiable information and blur them as necessary. These have been added to the StreetLearn dataset and can be obtained via the same process as used previously for StreetLearn. We also provide a reference implementation for both of the Touchdown tasks: vision and language navigation (VLN) and spatial description resolution (SDR). We compare our model results to those given in Chen et al. (2019) and show that the panoramas we have added to StreetLearn fully support both Touchdown tasks and can be used effectively for further research and comparison.

연구 동기 및 목표

• Google 스트리트뷰의 이용 약관 및 개인정보 보호 정책을 준수하면서도 터치다운 데이터셋에 대한 더 넓은 연구 접근성을 제공하기 위해.
• 개인정보를 제거한 후 터치다운 파ano라마를 스트리트러닝 데이터셋에 통합하여 장기적인 가용성과 재현 가능성을 확보하기 위해.
• 개인정보 보호를 위한 블러링 과정이 시각-언어 탐색(VLN) 및 공간 기술 해결(SDR) 과제 성능에 악영향을 주지 않는지 검증하기 위해.
• 연구 공동체 전반에서 일관된 벤치마킹을 위해 VLN 및 SDR 과제에 대한 오픈소스 구현을 제공하기 위해.
• 확장 가능하고 검증되며 업데이트 가능한 데이터셋을 활용해, 실제 도시 환경에서 언어 기반 기반의 연구를 향후 지원하기 위해.

제안 방법

• 저자들은 원본 스트리트뷰 파ano라마를 터치다운 데이터셋에서 확보하고, 원래 스트리트러닝 출시와 동일한 과정을 따르는 개인정보 보호를 위한 블러링 파이프라인을 적용하여 개인을 식별할 수 있는 정보(PII)를 제거했다.
• 청소된 파ano라마는 기존의 스트리트러닝 데이터셋에 통합되어 총 파ano라마 수가 114만 개에서 144만 개로 증가했다.
• 비전-언어 탐색(VLN)과 공간 기술 해결(SDR)을 위한 참조 구현체를 개발하였으며, VLN은 액터-러닝 아키텍처 내에서 모방 학습을 사용하고, SDR는 표준 모델을 사용하였다.
• 표준 지표를 사용하여 성능을 평가하였으며, 이는 작업 완료도(TC), 최단경로 거리(SPD), 성공 가중 편집 거리(SED), 정규화된 동적 시간 왜곡(nDTW), 성공 가중 DTW(SDTW)였다.
• 재구현 결과를 원래 터치다운 논문의 결과와 비교하여, 블러링 과정이 모델 성능에 악영향을 주지 않았는지 확인하였다.
• 코드와 데이터는 VALAN 프레임워크를 통해 배포되어 재현 가능성과 연구 공동체의 접근성을 보장한다.

실험 결과

연구 질문

• RQ1 개인정보 청소된 터치다운 데이터셋의 스트리트뷰 파ano라마가 성능에 영향을 주지 않고 스트리트러닝 데이터셋에 효과적으로 통합될 수 있는가?
• RQ2 스트리트러닝에서 사용된 PII 블러링 과정이 시각-언어 탐색 및 공간 기술 해결 과제 성능에 악영향을 주는가?
• RQ3 재배포된 파ano라마를 사용해 터치다운 과제를 재구현하면 원래 연구와 비교해 유사한 성능을 달성할 수 있는가?
• RQ4 터치다운의 스트리트러닝 통합이 실제 도시 환경에서 언어 기반 기반 연구 잠재력을 얼마나 향상시키는가?
• RQ5 개인정보 및 데이터 사용 정책을 존중하면서도 연구 공동체에 대규모 실세계 시각 데이터셋을 책임감 있게 공유하는 방법은 무엇인가?

주요 결과

• LingUNet 모델의 Retouchdown 재구현 결과는 원래 터치다운 논문보다 높은 작업 완료도(TC) 정확도를 기록했으며, 평균 거리 오차는 약간 악화되어, 블러링으로 인한 성능 저하가 없음을 시사한다.
• 비전-언어 탐색을 위한 RConcat 모델의 재구현 결과는 모든 지표에서 원래 결과를 초월했으며, 작업 완료율 12.8%와 SDTW 점수 1.4%를 기록하여 공개된 데이터의 타당성을 입증했다.
• 원본 파ano라마에서 추출한 특징을 사용한 성능 비교를 통해, 원래 논문과의 관측된 차이가 블러잉 과정 때문이 아님을 확인하여 공개된 데이터의 무결성을 검증했다.
• 터치다운 파ano라마의 통합으로 스트리트러닝 데이터셋의 크기가 114만 개에서 144만 개로 증가하여, 도시 탐색 과제의 더 강력하고 다양한 훈련 및 평가가 가능해졌다.
• VALAN 프레임워크를 통한 오픈소스 코드 및 데이터 배포로 재현 가능성이 보장되며, 향후 언어 기반 기반 및 실세계 환경에서의 시각적 탐색 연구를 지원한다.
• 본 연구는 개인정보 보호를 위한 데이터 정제가 연구 유용성과 효과적으로 균형을 이룰 수 있음을 확인하였으며, 컴퓨터 비전 및 NLP 분야에서 대규모 실세계 벤치마크 구축이 가능함을 시사한다.