[논문 리뷰] Geometry-Aware Recurrent Neural Networks for Active Visual Recognition

Ricson Cheng, Ziyan Wang외 1명|arXiv (Cornell University)|2018. 11. 03.

Advanced Vision and Imaging인용 수 16

한 줄 요약

이 논문은 3D 장면 재구성과 가림 현상 분석을 바탕으로 최적의 카메라 시야를 정책 네트워크를 통해 선택하는 기하학적 인지 기반 순환 신경망을 제안한다. 2D 및 3D 컨볼루션을 GRU 기반 메모리 모듈과 통합함으로써, 기준 모델 대비 3D IoU를 최대 25% 향상시키며, 지능적인 경로 계획을 통해 가림 현상을 능동적으로 줄임으로써 고정 및 무작위 시야 정책을 능가한다.

ABSTRACT

We present recurrent geometry-aware neural networks that integrate visual information across multiple views of a scene into 3D latent feature tensors, while maintaining an one-to-one mapping between 3D physical locations in the world scene and latent feature locations. Object detection, object segmentation, and 3D reconstruction is then carried out directly using the constructed 3D feature memory, as opposed to any of the input 2D images. The proposed models are equipped with differentiable egomotion-aware feature warping and (learned) depth-aware unprojection operations to achieve geometrically consistent mapping between the features in the input frame and the constructed latent model of the scene. We empirically show the proposed model generalizes much better than geometryunaware LSTM/GRU networks, especially under the presence of multiple objects and cross-object occlusions. Combined with active view selection policies, our model learns to select informative viewpoints to integrate information from by "undoing" cross-object occlusions, seamlessly combining geometry with learning from experience.

연구 동기 및 목표

• 고정 또는 무작위 경로에 의존하는 것 대신, 능동적으로 최적의 카메라 시야를 선택하여 3D 시각 인식 성능을 향상시키는 것.
• 과거 관측치를 기억하는 메모리 유지 능력을 갖춘 순환 아키텍처를 사용해 장면 기하학 및 가림 동역학을 모델링하는 것.
• 순차적 결정을 통해 시야에 의존하는 가림 현상을 최소화하는 정책을 학습함으로써 3D 재구성 정확도를 향상시키는 것.
• RGB, 깊이, 카메라 자세 등의 다중 모odal 입력을 통합하여 통합된 3D 재구성 및 세그멘테이션 프레임워크를 구축하는 것.
• LSTM 기반 기준 모델 및 비능동 정책 대비 3D IoU 및 세그멘테이션 품질 측면에서 뛰어난 성능을 보여주는 것.

제안 방법

• 정책 네트워크는 RGB 이미지에 2D 컨볼루션을, 특징 볼륨에 3D 컨볼루션을 적용하여 시공간적 특징을 추출하여 시야 선택에 활용한다.
• GRU 기반 메모리 모듈은 다양한 시야에서 추출된 특징을 통합하는 은닉 상태를 유지함으로써 장면 기하학에 대한 순차적 추론을 가능하게 한다.
• 결합된 특징을 다층 퍼셉트론에 통합하여 8개의 가능한 카메라 이동 방향에 대한 다중 분류 확률 분포를 출력한다.
• 스킵 연결을 갖춘 3D U-Net 아키텍처를 사용하여 엔드 투 엔드 3D 재구성을 수행하며, 시그모이드 교차 엔트로피 손실로 훈련한다.
• 깊이 및 마스크 추정은 역깊이에 대한 L2 손실과 마스크에 대한 이진 교차 엔트로피 손실로 훈련된 2D U-Net을 통해 수행된다.
• RGB, 깊이, 카메라 자세 특징은 퓨저 모듈을 통해 통합된 후, LSTM 기반 집계기 및 3D 디코더로 전달된다.

실험 결과

연구 질문

• RQ1 장면 기하학과 가림 현상을 기반으로 능동적으로 카메라 시야를 선택하는 순환 정책 네트워크가 3D 재구성 성능을 향상시킬 수 있는가?
• RQ2 3D 특징 메모리와 2D 시각 입력의 통합이 시야 선택 성능에 어떤 영향을 미치는가?
• RQ3 3D IoU 및 재구성 품질 측면에서 능동적 시야 선택이 고정, 무작위 또는 일방향 경로 정책을 능가하는가?
• RQ4 지능적인 경로 계획을 통해 모델이 가림 현상의 영향을 어느 정도 줄일 수 있는가?
• RQ5 이 방법은 다중 객체 및 실내 환경을 포함한 복잡한 장면에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 능동 정책은 단일 시야 예측 대비 3D IoU에서 상대적으로 25% 향상된 성능을 기록하며, 고정 및 무작위 시야 정책을 크게 능가한다.
• 시각화 결과(그림 2 및 그림 3)에 따르면, 이전에 가려졌던 영역을 복구하는 경로를 선택함으로써 가림 현상의 영향을 줄이는 데 성공했다.
• 다중 객체 장면에서 능동 정책은 LSTM 기준 모델 대비 평균 IoU 기준으로 재구성 품질을 18% 향상시켰다.
• 3D U-Net 재구성 모델은 고해상도 볼륨 예측을 달성하였으며, 그림 4의 정성적 결과는 향상된 구조 일관성과 세부 사항을 보여준다.
• 그림 5의 3D 세그멘테이션 결과는 메서드가 정확한 인스턴스 수준 예측을 생성하며, 정답과 매우 유사한 결과를 도출함을 입증한다.
• SUNCG 데이터셋의 서브-장면에서 모델은 잘 일반화되어 있으며, 그림 6에서 보듯이 일관되고 세밀한 3D 재구성 결과를 생성한다.