[논문 리뷰] Where to Look Next: Unsupervised Active Visual Exploration on 360° Input

Soroush Seifi, Tinne Tuytelaars|arXiv (Cornell University)|2019. 09. 23.

Advanced Vision and Imaging참고 문헌 14인용 수 6

한 줄 요약

이 논문은 딥 강화 학습이나 보조 네트워크 없이도 이전 방법들을 능가하는 360° 환경에서의 비지도 학습 활성 시각 탐색 프레임워크를 제안한다. 공간 기억 맵과 망막 유사 빛나는 시야를 사용하여, 전체 이미지 픽셀의 11%를 커버하는 8개의 빛나는 시야만으로도 최신 기준 재구성 정확도(12.49 MSE ×1000)와 근접한 상한선 수준의 분류 성능을 달성한다.

ABSTRACT

We address the problem of active visual exploration of large 360° inputs. In our setting an active agent with a limited camera bandwidth explores its 360° environment by changing its viewing direction at limited discrete time steps. As such, it observes the world as a sequence of narrow field-of-view 'glimpses', deciding for itself where to look next. Our proposed method exceeds previous works' performance by a significant margin without the need for deep reinforcement learning or training separate networks as sidekicks. A key component of our system are the spatial memory maps that make the system aware of the glimpses' orientations (locations in the 360° image). Further, we stress the advantages of retina-like glimpses when the agent's sensor bandwidth and time-steps are limited. Finally, we use our trained model to do classification of the whole scene using only the information observed in the glimpses.

연구 동기 및 목표

• 제한된 카메라 대역폭과 이산적인 시야 단계를 가진 360° 환경에서의 활성 시각 탐색 문제를 해결한다.
• 정책 학습에 딥 강화 학습이나 보조 네트워크에 의존하는 이전 방법의 한계를 극복한다.
• 새로운 공간 기억 맵 아키텍처를 통해 빛나는 시야 간의 공간 상관관계를 유지하여 장면 재구성 성능을 향상시킨다.
• 중심 고해상도 샘플링을 우선시하는 망막 유사 빛나는 시야를 사용하여 대역폭 제약 하에서 효율적인 정보 수집을 가능하게 한다.
• 단순히 빛나는 시야 데이터만을 사용하여 학습된 표현이 후속 분류 작업에 전이 가능한지를 입증한다.

제안 방법

• 중앙 16×16 영역은 전체 해상도를 유지하고 주변 8개 블록은 2배로 다운샘플링하여 대역폭 사용을 최적화하는 망막 유사 빛나는 시야를 사용한다.
• 지표와 재구성된 빛나는 시야 간의 L1 손실을 기반으로 U-Net 기반의 국소 재구성 모듈을 활용해 빛나는 시야를 전체 해상도로 복원한다.
• 빛나는 시야를 그들의 정확한 360° 공간 위치에 업샘플링하여 저장하는 공간 기억 맵(피티인 매트릭스)을 도입하여 공간 상관관계를 유지한다.
• 각 빛나는 시야의 봉쇄 특징을 평균 풀링과 컨볼루션을 사용해 다운샘플링하여 크기가 4096인 피티인 특징 벡터를 유지한다.
• 피티인 특징 벡터에 완전히 연결된 레이어를 적용하여 다운샘플된 배경 재구성을 생성하고, 스킵 연결을 활용한 transpose 컨볼루션을 통해 이를 업샘플링한다.
• 국소 재구성, 전체 재구성, 주의 모듈 손실을 조합한 다중 척도 L1 손실을 최적화하여 전체 네트워크를 학습하며, 주의 모듈은 재구성 오차를 통해 빛나는 시야 선택을 안내하도록 훈련한다.

실험 결과

연구 질문

• RQ1 딥 강화 학습이나 보조 네트워크 없이도 활성 360° 시각 탐색에서 뛰어난 재구성 성능를 달성할 수 있는가?
• RQ2 LSTM과 같은 순환 기억 메커니즘과 비교해 공간 기억 맵이 빛나는 시야 간의 공간 상관관계를 얼마나 효과적으로 유지하는가?
• RQ3 대역폭 제약 하에서 망막 유사 빛나는 시야는 얼마나 정보 효율성을 향상시키는가?
• RQ4 빛나는 시야에서 학습된 표현은 최소한의 레이블 데이터로 후속 분류 작업에 효과적으로 전이될 수 있는가?
• RQ5 지표 재구성 오차를 기반으로 빛나는 시야를 선택하는 상한선과 비교했을 때 모델의 성능는 어떻게 되는가?

주요 결과

• 제안된 방법은 SUN360 데이터셋에서 재구성 MSE 12.49 ×1000(RMSE 28.5)를 달성하여 이전 작업들인 Side-kick Policy Learning(23.36) 및 Learning to Look Around(23.16)를 크게 능가한다.
• 전체 이미지 픽셀의 11%를 커버하는 5개의 빛나는 시야만으로도 이전 방법들이 19% 픽셀을 커버하는 6개의 빛나는 시야를 사용한 성능을 이미 초월한다.
• 빛나는 시야 수가 증가할수록 재구성 성능이 점진적으로 향상되며, 시간이 지남에 따라 모델의 성능과 기준 모델 간 격차는 더욱 커진다.
• 단지 8개의 빛나는 시야만으로도 65%의 분류 정확도를 달성하여 전체 이미지 분류기의 상한선 65%에 근접한다.
• 무작위 빛나는 시야 선택(MSE 18.73)과 이웃 기반 선택(MSE 16.64)을 사용한 기준 모델보다 성능이 뛰어나, 주의 메커니즘이 효과적임을 입증한다.
• 공간 기억 맵의 사용은 공간적 구조를 더 잘 유지하여, LSTM 기반 접근법 대비 질감과 세부 정보 손실을 줄인다.