[논문 리뷰] Embodied Visual Recognition

Jianwei Yang, Zhile Ren외 5명|arXiv (Cornell University)|2019. 04. 09.

Multimodal Machine Learning Applications참고 문헌 63인용 수 21

한 줄 요약

이 논문은 3D 환경에서 오염된 물체의 시각적 인식을 향상시키기 위해 능동적으로 이동하는 에이전트를 대상으로 하는 새로운 과제인 몸체 시각 인식(Embodied Visual Recognition, EVR)을 소개한다. 저자들은 아모달 검출 및 분할을 향상시키기 위해 전략적 이동 정책을 학습하는 모델인 몸체 마스크 R-CNN(Embodied Mask R-CNN)을 제안하며, 수동 기반 모델을 능가하고, 최단경로가 아닌 경로를 학습하여 일관된 물체 시각 크기를 유지함으로써 뛰어난 성능을 보인다.

ABSTRACT

Passive visual systems typically fail to recognize objects in the amodal setting where they are heavily occluded. In contrast, humans and other embodied agents have the ability to move in the environment, and actively control the viewing angle to better understand object shapes and semantics. In this work, we introduce the task of Embodied Visual Recognition (EVR): An agent is instantiated in a 3D environment close to an occluded target object, and is free to move in the environment to perform object classification, amodal object localization, and amodal object segmentation. To address this, we develop a new model called Embodied Mask R-CNN, for agents to learn to move strategically to improve their visual recognition abilities. We conduct experiments using the House3D environment. Experimental results show that: 1) agents with embodiment (movement) achieve better visual recognition performance than passive ones; 2) in order to improve visual recognition abilities, agents can learn strategical moving paths that are different from shortest paths.

연구 동기 및 목표

• 실제 세계와 유사한 3D 환경에서 오염된 물체에 대해 신체화(능동적 이동)가 시각 인식을 얼마나 향상시키는지 조사하고자 한다.
• 물체 분류, 아모달 정위치 지정, 아모달 분할을 포함한 오염된 환경에서의 시각 인식 평가를 위한 통합 벤치마크를 개발하고자 한다.
• 단순한 최단경로를 넘어서 정보가 풍부한 시야를 확보하기 위해 전략적으로 움직이는 에이전트를 훈련하고자 한다.
• perception과 주행 정책을 공유된 감독 하에 종단 간(end-to-end)으로 훈련하는 공동 학습 프레임워크를 설계하여 수동 모델과의 공정한 비교를 가능하게 하고자 한다.
• 복잡한 장면에서 강력한 아모달 인식을 위해서는 단순한 접근성보다 전략적 이동이 필수적임을 입증하고자 한다.

제안 방법

• 제안된 몸체 마스크 R-CNN는 에이전트의 이동에 따른 순차적 관측에서의 시각적 특징을 통합하기 위해 순환 신경망을 마스크 R-CNN에 확장한다.
• 정책 네트워크는 현재 및 과거의 시각적 특징을 입력으로 받아 행동(예: 전진, 회전, 좌우 이동)을 예측함으로써 목표 지향적 주행을 가능하게 한다.
• 단계적 훈련 방식을 사용함: 먼저 정적 이미지에서 인식 헤드를 사전 훈련하고, 이후 애니메이션 및 강화 학습을 통해 전체 모델을 미세조정한다.
• 에이전트는 후속 이동을 통해 수집한 정보를 바탕으로 첫 번째 프레임에 대한 예측을 수행하도록 훈련되어 시간에 따른 특징 통합이 가능해진다.
• 환경는 House3D를 사용하며, 에이전트는 오염된 목표 물체 근처에 초기화되고, 인식 성능(분류, 아모달 경계상자, 아모달 마스크)에 따라 보상을 받는다.
• 수동 모델과 동일한 감독을 사용하여 훈련함으로써 동일한 테스트 세트에서의 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 단일 이미지에서의 수동 인식과 비교해 볼 때, 능동적 이동이 오염된 물체의 시각 인식 성능을 뚜렷이 향상시키는가?
• RQ2 시각 인식 최적화를 위해 최단경로와 다른 이동 전략을 학습하는가?
• RQ3 이동 중에 일관된 물체 시각 크기를 유지하면 인식 성능이 향상되는가?
• RQ4 공동으로 훈련된 인식 및 정책 네트워크가 인식과 주행을 별개의 과제로 간주하는 모델보다 우수한 성능을 내는가?
• RQ5 명시적인 시연 없이도 효과적인 비전문가 수준의 이동 전략을 학습할 수 있는가?

주요 결과

• 동일한 감독 하에 훈련된 수동 모델과 비교해도, 신체화된 에이전트는 물체 분류, 아모달 정위치 지정, 아모달 분할에서 뚜렷한 성능 향상을 보였다.
• 학습된 정책은 최단경로와 근본적으로 다른 이동 경로를 생성하며, 종종 후진 이동과 안정된 시야 거리를 유지하는 경향이 있다.
• 학습된 정책을 사용하는 에이전트는 목표 물체와 거의 일정한 거리를 유지하여, 모든 프레임에서 일관된 물체 크기를 유지함으로써 인식의 안정성을 향상시켰다.
• 학습된 정책의 행동 분포는 전진 이동이 최소이며, 빈번한 후진 및 회전 동작을 보이며, 더 나은 시야 통합을 위한 전략적 재위치가 이루어지고 있음을 시사한다.
• 에이전트는 숨겨진 영역을 드러내기 위해 전략적으로 이동함으로써 오염된 물체의 전체 형태와 의미를 효과적으로 인식할 수 있었으며, 능동적 인식의 가치를 입증하였다.
• 제거 실험 결과는 인식과 정책의 공동 훈련이 필수적임을 확인하였으며, 별도로 훈련할 경우 성능이 열등해짐을 보였다.