[논문 리뷰] PixelRL: Fully Convolutional Network with Reinforcement Learning for Image Processing

Ryosuke Furuta, Naoto Inoue외 1명|arXiv (Cornell University)|2019. 12. 16.

Image Enhancement Techniques참고 문헌 70인용 수 7

한 줄 요약

이 논문은 픽셀별 보상에 기반해 이미지 처리 작업을 최적화하는 각 픽셀이 독립된 에이전트로 작동하는 완전 컨볼루션 강화학습 프레임워크인 PixelRL을 제안한다. 상호 픽셀 간 의존성을 모델링하기 위해 보상 맵 컨볼루션을 도입함으로써, 이미지 노이즈 제거, 복원, 국소적 색상 강조 향상 및 시각적 중요도 기반 편집 등 다양한 작업에서 최신 기술 수준 또는 유사한 성능을 달성하였으며, 가시적인 액션 정책을 통해 내재된 해석 가능성도 확보하였다.

ABSTRACT

This paper tackles a new problem setting: reinforcement learning with pixel-wise rewards (pixelRL) for image processing. After the introduction of the deep Q-network, deep RL has been achieving great success. However, the applications of deep reinforcement learning (RL) for image processing are still limited. Therefore, we extend deep RL to pixelRL for various image processing applications. In pixelRL, each pixel has an agent, and the agent changes the pixel value by taking an action. We also propose an effective learning method for pixelRL that significantly improves the performance by considering not only the future states of the own pixel but also those of the neighbor pixels. The proposed method can be applied to some image processing tasks that require pixel-wise manipulations, where deep RL has never been applied. Besides, it is possible to visualize what kind of operation is employed for each pixel at each iteration, which would help us understand why and how such an operation is chosen. We also believe that our technology can enhance the explainability and interpretability of the deep neural networks. In addition, because the operations executed at each pixels are visualized, we can change or modify the operations if necessary. We apply the proposed method to a variety of image processing tasks: image denoising, image restoration, local color enhancement, and saliency-driven image editing. Our experimental results demonstrate that the proposed method achieves comparable or better performance, compared with the state-of-the-art methods based on supervised learning. The source code is available on https://github.com/rfuruta/pixelRL.

연구 동기 및 목표

• 저수준 이미지 처리 작업에 있어 픽셀 단위 조작이 요구되는 강화학습 응용의 부족을 해결하기 위해.
• 수백만 개의 픽셀을 포함한 고해상도 이미지에 다중 에이전트 강화학습을 적용할 경우 계산 비용이 과도하게 증가하는 문제를 해결하기 위해.
• 완전 컨볼루션 신경망을 사용해 파라미터 공유를 실현하고 픽셀 수준의 의사결정에 적합한 확장 가능한 프레임워크를 개발하기 위해.
• 각 픽셀의 학습된 행동을 시각화함으로써 모델의 해석 가능성을 향상시키고, 인간이 개입할 수 있는 방식으로 행동을 수정할 수 있도록 하기 위해.
• 지도 학습을 초월해 다양한 이미지 처리 작업에서 PixelRL의 효과성을 입증하기 위해.

제안 방법

• 각 픽셀을 국소 상태 관측값에 기반해 자신의 값을 수정할 수 있는 행동을 선택하는 독립된 에이전트로 모델링한다.
• 완전 컨볼루션 네트워크(Fully Convolutional Network, FCN)를 통해 모든 픽셀 에이전트 간 파라미터 공유를 실현함으로써 계산 비용을 크게 감소시킨다.
• 보상 맵 컨볼루션(Reward Map Convolution, RMC)을 도입하여 각 에이전트가 이웃 픽셀의 향후 상태를 고려할 수 있도록 하여 정책 학습 성능을 향상시킨다.
• 안정적인 훈련을 위해 액터-크리틱 프레임워크를 A3C 기반으로 사용하고, 이득 함수 추정을 적용한다.
• 행동 공간은 응용 분야에 따라 사전 정의된다(예: 밝기 이동, 대trast 조절)이며, 에이전트는 조밀한 픽셀 수준 보상에 기반해 최적의 행동을 학습한다.
• 에피소드 길이($t_{max}$)는 편집의 범위를 제어하여 시각적 중요도 기반 편집에서 조정 가능한 정밀도를 제공한다.

실험 결과

연구 질문

• RQ1 저수준 이미지 처리 작업(예: 노이즈 제거, 복원)에 있어 픽셀 단위의 의사결정이 요구되는 상황에서 강화학습이 효과적으로 적용될 수 있는가?
• RQ2 수백만 개의 에이전트를 포함한 고해상도 이미지에 다중 에이전트 강화학습을 적용할 경우 계산 비용이 과도하게 증가하는 문제를 어떻게 해결할 수 있는가?
• RQ3 보상 맵 컨볼루션을 통해 픽셀 간 의존성을 모델링하면 픽셀 수준의 강화학습에서 학습 성능을 크게 향상시킬 수 있는가?
• RQ4 학습된 정책의 해석 가능성은 어느 정도이며, 가시화된 행동이 모델의 행동 이해나 수정에 기여할 수 있는가?
• RQ5 PixelRL은 지도 학습을 초월한 비지도 또는 약한 지도 학습 환경에서도 지도 학습 기반 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 보상 맵 컨볼루션을 적용한 제안된 PixelRL은 PiCANet에서 지도 기반 시각적 중요도 맵과의 피어슨 상관계수(CC)가 0.53을 기록하여, 기준 방법인 OHA(0.23) 및 HAG(0.29)를 초월하였다.
• 시각적 중요도 기반 이미지 편집 작업에서 $t_{max}=15$일 경우 원본 이미지와의 구조적 유사도-SSIM이 0.73에 도달하여, 전체 픽셀 편집에도 불구하고 자연스러운 이미지 품질을 유지함을 확인하였다.
• 쌍체 훈련 데이터가 필요 없이도 이미지 노이즈 제거 및 복원 작업에서 최신 기술 수준의 지도 학습 방법을 초월하거나 유사한 성능을 달성하였다.
• RMC와 convGRU의 사용으로 모든 작업에서 성능 향상을 이룩하였으며, $t_{max}=15$일 경우 PiCANet에서 CC가 0.37에서 0.53으로 증가하여 그 효과를 입증하였다.
• 각 픽셀의 가시화된 행동은 목표 영역을 강조하고 비목표 영역을 억제하는 해석 가능한 편집 전략을 드러내어, 이 프로세스의 투명성을 확인하였다.
• 여섯 가지의 다른 시각적 중요도 맵 추정 방법에 대해 모두 목표 영역의 시각적 중요도를 효과적으로 향상시키는 것을 학습하여, 강건성과 일반화 능력을 입증하였다.