[논문 리뷰] Unsupervised Video Object Segmentation for Deep Reinforcement Learning

Vikash Goel, Jameson Weng외 1명|arXiv (Cornell University)|2018. 05. 01.

Reinforcement Learning in Robotics인용 수 38

한 줄 요약

이 논문은 운동 기반 강화 학습(MOREL)을 제안한다. 이는 구조에서 운동을 이용해 비디오에서 움직이는 물체를 탐지하고 분할한 후, 이러한 분할 결과를 바탕으로 딥 강화 학습에서 정책 학습을 유도하는 비지도 학습 방법이다. 운동 인식 표현에 집중함으로써 MOREL은 환경 상호작용 횟수를 줄이고 아타리 게임에서 정책의 해석 가능성도 향상시킨다.

ABSTRACT

We present a new technique for deep reinforcement learning that automatically detects moving objects and uses the relevant information for action selection. The detection of moving objects is done in an unsupervised way by exploiting structure from motion. Instead of directly learning a policy from raw images, the agent first learns to detect and segment moving objects by exploiting flow information in video sequences. The learned representation is then used to focus the policy of the agent on the moving objects. Over time, the agent identifies which objects are critical for decision making and gradually builds a policy based on relevant moving objects. This approach, which we call Motion-Oriented REinforcement Learning (MOREL), is demonstrated on a suite of Atari games where the ability to detect moving objects reduces the amount of interaction needed with the environment to obtain a good policy. Furthermore, the resulting policy is more interpretable than policies that directly map images to actions or values with a black box neural network. We can gain insight into the policy by inspecting the segmentation and motion of each object detected by the agent. This allows practitioners to confirm whether a policy is making decisions based on sensible information. Our code is available at https://github.com/vik-goel/MOREL.

연구 동기 및 목표

• 비지도 비디오 객체 분할을 활용하여 딥 강화 학습의 샘플 복잡도를 낮추기.
• 원시 픽셀이 아닌 운동 탐지 객체에 집중함으로써 정책의 해석 가능성 향상.
• 자기 지도적 운동 분석을 통해 행동적으로 관련 있는 움직이는 물체를 식별하고 우선순위를 정하는 데에 기여하기.
• 운동 인식 표현이 비디오 환경에서 더 효율적이고 투명한 정책 학습을 이끌 수 있음을 입증하기.

제안 방법

• 에이전트는 비디오 프레임에 대해 비지도 구조에서 운동 기반 기법을 사용하여 움직이는 물체를 탐지한다.
• 옵티컬 플로우를 사용해 운동 패턴을 추정하고 지도 없는 애너테이션 없이도 움직이는 물체를 식별한다.
• 탐지된 움직이는 물체는 분할되어 정책 네트워크의 입력 특징으로 사용된다.
• 정책은 분할된 운동 물체를 기반으로 행동하도록 학습되어 원시 픽셀 입력에 대한 의존도를 줄인다.
• 객체 분할과 정책 학습을 통합한 공동 프레임워크를 통해 관련 있는 움직이는 엔티티에 대한 주의를 유도한다.
• 이 방법은 아타리 게임의 일련의 테스트 케이스에서 평가되었으며, 환경 상호작용 횟수가 적은 상태에서 정책을 학습하는 데 성공했다.

실험 결과

연구 질문

• RQ1 비지도 비디오 객체 분할이 딥 강화 학습의 샘플 효율성 향상에 기여할 수 있는가?
• RQ2 원시 픽셀 기반 학습과 비교해 운동 탐지 객체에 집중하는 것이 더 해석 가능한 정책을 만들어내는가?
• RQ3 감독 없이도 구조에서 운동을 효과적으로 활용해 강화 학습에서 행동적으로 관련 있는 물체를 식별할 수 있는가?
• RQ4 운동 인식 표현 학습은 아타리 환경에서 정책 성능과 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• MOREL은 운동 탐지 물체에 집중함으로써 강력한 정책을 학습하기 위해 필요한 환경 상호작용 횟수를 줄였다.
• 결과적으로 생성된 정책는 특정 분할된 움직이는 물체에 따라 결정이 유도됨을 추적할 수 있어 더 해석 가능성이 높아졌다.
• 비디오 시퀀스에서의 비지도 운동 신호만을 사용해도 아타리 게임에서 경쟁적인 성능을 달성했다.
• 에이전트는 자기 지도적 분석을 통해 적이나 목표와 같은 핵심 움직이는 물체를 식별하고 우선순위를 정하는 데 성공했다.