[논문 리뷰] A Layered Architecture for Active Perception: Image Classification using Deep Reinforcement Learning

Hossein Mousavi, Guangyi Liu외 4명|arXiv (Cornell University)|2019. 09. 20.

Reinforcement Learning in Robotics참고 문헌 26인용 수 7

한 줄 요약

이 논문은 부분 관찰 가능한 환경에서 분류 정확도를 극대화하기 위해 중간 목표와 행동을 계획하는 로봇이 활동적 인식을 수행하기 위해 삼중층 딥 강화학습 아키텍처를 제안한다. 이 방법은 통합된 보상 신호와 일반화된 정책 그래เดียน트 학습을 사용하며, MNIST에서 94.61%의 테스트 정확도를 달성하여 계층적 계획과 설명 가능한 탐색 궤적을 통해 성능 향상을 이룬다.

ABSTRACT

We propose a planning and perception mechanism for a robot (agent), that can only observe the underlying environment partially, in order to solve an image classification problem. A three-layer architecture is suggested that consists of a meta-layer that decides the intermediate goals, an action-layer that selects local actions as the agent navigates towards a goal, and a classification-layer that evaluates the reward and makes a prediction. We design and implement these layers using deep reinforcement learning. A generalized policy gradient algorithm is utilized to learn the parameters of these layers to maximize the expected reward. Our proposed methodology is tested on the MNIST dataset of handwritten digits, which provides us with a level of explainability while interpreting the agent's intermediate goals and course of action.

연구 동기 및 목표

• 부분 관찰 조건 하에서 전략적 탐색을 통해 이미지 분류를 수행하는 로봇 기반 활동적 인식 시스템을 개발하기 위해.
• 통합된 딥 강화학습 프레임워크를 통해 목표 계획, 행동 선택, 이미지 분류를 공동 설계하기 위해.
• 중간 목표와 행동을 투명하고 해석 가능하게 만들어 결정 과정의 설명 가능성을 보장하기 위해.
• 직접적인 행동 시퀀스 대신 계층적 탐색을 통해 분류 성능 향상을 위해.
• 과적합 방지 기법 없이도 일반화 및 강건성을 확보하기 위해, 완전 컨볼루션 네트워크와 글로벌 평균 풀링을 활용하기 위해.

제안 방법

• 아키텍처는 세 층으로 구성된다: 고수준 목표 생성을 위한 메타층, 국소 탐색을 위한 액션층, 보상 평가 및 예측을 위한 분류층.
• 일관된 통합 보상 신호를 분류 성능에서 유도하여, 일반화된 정책 그래디언트 알고리즘을 사용해 모든 층을 동시에 최적화한다.
• 메타층은 정확한 목표 상태 도달 가능성을 요구하지 않고도 정보가 풍부한 이미지 영역을 향해 탐색을 이끌 중간 목표를 선택한다.
• 액션층은 현재 목표 향해 행동을 실행하며, 환경가 부분 관찰 상태일 경우 일찍이 멈출 수 있는 유연성을 갖는다.
• 분류층은 에이전트의 현재 관측을 평가하고 보상을 계산하며, 글로벌 평균 풀링을 적용한 완전 컨볼루션 네트워크를 사용해 예측을 출력한다.
• 시스템은 MNIST에서 엔드 투 엔드로 훈련되며, 먼저 분류기를 사전 훈련하고 나서 계획 모듈을 미세 조정하는 계층적 훈련 스케줄을 적용한다.

실험 결과

연구 질문

• RQ1 부분 관찰 조건 하에서 로봇이 어떻게 이미지를 탐색하여 분류 정확도를 향상시킬 수 있는가?
• RQ2 통합된 보상 신호가 계층적 딥 강화학습 프레임워크에서 계획 및 인식 모듈을 효과적으로 동시에 훈련시킬 수 있는가?
• RQ3 비계층적 또는 무작위 행동 선택 대비 계층적 목표 계획이 분류 성능 향상에 얼마나 기여하는가?
• RQ4 명시적 정규화 기법 없이도 모델의 성능이 미리 정의되지 않은 테스트 데이터에 대해 어떻게 일반화되는가?
• RQ5 중간 목표와 행동이 에이전트의 의사결정 과정에서 설명 가능한 단계로 간주될 수 있는가?

주요 결과

• 모델은 MNIST 데이터셋에서 94.61% ± 0.17%의 테스트 정확도를 달성하여, 명시적 정규화 없이도 강력한 일반화 능력을 보였다.
• 테스트 세트에서 상위 2위 정확도는 98.30%에 달하여, 진짜 레이블이 모델의 두 개의 최상위 예측에 자주 포함됨을 시사했다.
• 전체 이미지를 사용해 분류기만 별도로 평가했을 때는 94.92%의 테스트 정확도를 기록했으며, 이는 계획 층이 정보가 풍부한 이미지 영역을 성공적으로 노출시켰음을 확인했다.
• 사전 훈련된 ResNet-18을 사용한 전이 학습은 훈련 시간을 거의 한 차수만큼 단축시켰으며, 95.19%의 테스트 정확도를 달성했다.
• 제거 실험 결과, 목표 계획이 예측 오차를 약 1/3 감소시키고, 행동 계획을 추가로 도입하면 오차가 다시 1/3 감소함을 확인했다.
• 예시 탐색 궤적은 에이전트가 항상 정보가 풍부한 이미지 부분에 집중했음을 보여주었으며, 저신뢰도 예측은 주로 핵심 특징(예: 숫자 '4'의 상단)의 완전한 커버리지가 이루어지지 않았을 때 발생했다.