[논문 리뷰] Outline Objects using Deep Reinforcement Learning

Zhenxin Wang, Sayan Sarcar외 3명|arXiv (Cornell University)|2018. 04. 10.

Advanced Neural Network Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 세분화를 순차적 결정 과정으로 간주하는 시각적 세분화를 위한 첫 번째 딥 강화 학습 접근법인 DeepOutline를 소개한다. 전역적 맥락과 학습된 위치 맵을 통한 정밀한 국소 공간 정보를 결합하는 Delta-Net을 사용함으로써, DeepOutline는 COCO val2017 데이터셋에서 중간 및 대형 인물 카테고리에서 최신 기술 수준의 성능을 달성하며, 조밀한 예측 작업을 위한 새로운 분할-정복 프레임워크를 제공한다.

ABSTRACT

Image segmentation needs both local boundary position information and global object context information. The performance of the recent state-of-the-art method, fully convolutional networks, reaches a bottleneck due to the neural network limit after balancing between the two types of information simultaneously in an end-to-end training style. To overcome this problem, we divide the semantic image segmentation into temporal subtasks. First, we find a possible pixel position of some object boundary; then trace the boundary at steps within a limited length until the whole object is outlined. We present the first deep reinforcement learning approach to semantic image segmentation, called DeepOutline, which outperforms other algorithms in Coco detection leaderboard in the middle and large size person category in Coco val2017 dataset. Meanwhile, it provides an insight into a divide and conquer way by reinforcement learning on computer vision problems.

연구 동기 및 목표

• 엔드 투 엔드 완전 컨volution 네트워크의 성능을 제한하는 국소 경계 정밀도와 전역 맥락 간의 균형을 맞추는 문제를 해결하기 위해.
• 이미지 세분화가 인간의 윤곽을 그리는 것과 유사한 순차적 과정으로 모델링될 수 있는지 탐색하기 위해.
• 이산 동작을 사용하여 다각형의 정점을 생성하면서도 학습된 위치 맵을 통해 공간 인식을 유지하는 강화 학습 프레임워크를 개발하기 위해.
• 컴퓨터 비전 분야의 복잡한 조밀한 예측 문제를 해결하기 위한 새로운 패러다임—강화 학습을 통한 분할-정복—을 제공하기 위해.

제안 방법

• 이 방법은 에이전트가 깊이 학습된 Q-네트워크(DQN)를 사용하여 커스터마이즈된 액션 스페이스를 갖춘 다음 정점 선택을 통해 세분화를 순차적 결정 과정으로 프레임워크화한다.
• 에이전트의 행동을 안내하기 위해 엔드 투 엔드로 학습되는 위치 맵이 사용되며, 이는 국소 공간 맥락과 전역 객체 특징을 모두 인코딩하여 경계 국소화를 향상시킨다.
• 델타넷 아키텍처는 다양한 스케일의 특징 맵 간의 차이를 모델링하여 미세한 공간 세부 정보를 캡처함으로써 경계 정확도를 향상시킨다.
• 에이전트는 펜을 올린 상태(새로운 객체를 선택하는 경우)와 펜을 내린 상태(경계를 따라 그리는 경우)의 두 가지 상태에서 작동하며, 상태 맵은 이미 세분화된 영역을 동적으로 억제한다.
• 훈련은 예측 마스크와 진짜 마스크 간의 IoU(교차율) 기반 희박한 밀도 보상으로 이루어지며, 정확한 다각형 완성에 유도한다.
• 딥 강화 학습을 사용하여 엔드 투 엔드로 프레임워크를 훈련시키며, 다양한 객체 형태와 질감에 걸쳐 일반화를 향상시키기 위한 탐색 전략을 사용한다.

실험 결과

연구 질문

• RQ1 딥 강화 학습을 사용하여 세분화를 순차적이고 단계적으로 윤곽 그리기 과정으로 효과적으로 모델링할 수 있는가?
• RQ2 이산 동작과 학습된 위치 맵만을 사용하여 딥 강화 학습 에이전트가 높은 정밀도로 객체 경계를 식별하고 따라갈 수 있는가?
• RQ3 강화 학습 기반 세분화 프레임워크에서 전역 맥락과 국소 공간 정보의 통합이 경계 정확도에 어떤 영향을 미치는가?
• RQ4 세분화를 하위 작업으로 나누는 분할-정복 전략이 엔드 투 엔드 학습에 비해 성능 향상에 얼마나 기여하는가?

주요 결과

• DeepOutline는 COCO val2017 데이터셋에서 중간 및 대형 인물 카테고리에서 다른 방법들을 능가하며, 검출 랭킹 보드에서 최신 기술 수준의 결과를 달성했다.
• 150,000회의 효과적인 훈련 라운드 이후에 에이전트의 잘못된 행동 비율이 2% 이하로 감소하여 강력한 수렴성과 신뢰성을 보였다.
• 델타넷이 학습한 위치 맵은 이미 세분화된 영역에서 반응을 효과적으로 억제하여 에이전트가 경계를 다시 그리거나 겹치는 것을 방지했다.
• 네트워크는 초기 훈련 단계에서 가장자리 반응을 우선시하는 경향을 보였지만, 30,000~80,000단계 이후에야 내부 경계를 억제하기 시작하여 공간 인식의 점진적 발생을 보였다.
• 실패 사례는 주로 작은 또는 얇은 객체 부분(예: 손가락, 발가락), 인접 객체 간 유사한 질감, 또는 같은 클래스의 겹치는 신체 부위에서 기인했다.
• 간단한 동작(정점 선택)과 학습된 공간 정책을 조합하면 복잡한 후처리나 수작업으로 만든 특징 없이도 경쟁 가능한 성능을 달성할 수 있음을 보여주었다.