[논문 리뷰] An end-to-end CNN framework for polarimetric vision tasks based on polarization-parameter-constructing network

Yong Wang, Qi Liu외 4명|arXiv (Cornell University)|2020. 04. 19.

Optical Polarization and Ellipsometry참고 문헌 21인용 수 4

한 줄 요약

이 논문은 1x1 컨벌루션을 사용하여 편광 영상 간 최적의 픽셀 단위 연산을 학습하는 편광 파라미터 구축 네트워크(PPCN)를 도입함으로써 편광 시각 성능을 향상시키는 엔드 투 엔드 CNN 프레임워크를 제안한다. 이 프레임워크는 faster R-CNN과 통합되었을 때 기존 방법보다 유의하게 높은 평균 정밀도(mAP)를 달성하여 객체 검출 성능을 향상시킨다.

ABSTRACT

Pixel-wise operations between polarimetric images are important for processing polarization information. For the lack of such operations, the polarization information cannot be fully utilized in convolutional neural network(CNN). In this paper, a novel end-to-end CNN framework for polarization vision tasks is proposed, which enables the networks to take full advantage of polarimetric images. The framework consists of two sub-networks: a polarization-parameter-constructing network (PPCN) and a task network. PPCN implements pixel-wise operations between images in the CNN form with 1x1 convolution kernels. It takes raw polarimetric images as input, and outputs polarization-parametric images to task network so as to complete a vison task. By training together, the PPCN can learn to provide the most suitable polarization-parametric images for the task network and the dataset. Taking faster R-CNN as task network, the experimental results show that compared with existing methods, the proposed framework achieves much higher mean-average-precision (mAP) in object detection task

연구 동기 및 목표

• 기존의 CNN가 편광 정보를 충분히 활용하지 못하는 한계를 해결하기 위해 편광 영상 간 효과적인 픽셀 단위 연산이 부족하기 때문이다.
• 원시 편광 영상에서 자동으로 최적의 편광 파라미터를 생성할 수 있는 학습 가능한, 미분 가능한 프레임워크를 설계하기 위해이다.
• 편광 파라미터 구축 네트워크와 작업 전용 네트워크를 함께 훈련시켜 성능을 향상시키기 위해이다.
• 특히 객체 검출을 포함한 실제 편광 시각 작업에 프레임워크의 효과성을 입증하기 위해이다.

제안 방법

• 프레임워크는 두 개의 하위 네트워크로 구성되며, 편광 파라미터 구축 네트워크(PPCN)와 작업 네트워크로 이루어지며, 엔드 투 엔드로 훈련된다.
• PPCN는 원시 편광 영상 간 학습 가능한, 미분 가능한 픽셀 단위 연산을 수행하기 위해 1x1 컨볼루션 커널을 사용한다.
• PPCN의 출력은 작업 네트워크에 의미 있는 편광 특징을 인코딩한 편광 파라미터 영상이다.
• 전체 시스템은 함께 훈련되며, 이로써 PPCN은 특정 작업과 데이터셋에 가장 적합한 편광 표현을 적응적으로 학습할 수 있다.
• 작업 네트워크는 객체 검출을 위해 faster R-CNN으로 구현되었으며, 전체 프레임워크는 표준 백프로파게이션을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 학습 가능한 엔드 투 엔드 CNN 프레임워크가 원시 편광 영상에서 시각 작업을 위해 효과적으로 편광 특징을 추출하고 활용할 수 있는가?
• RQ2 픽셀 단위의 편광 연산을 활용하지 않는 기존 방법에 비해 편광 인식 CNN의 성능은 어떻게 다른가?
• RQ3 함께 훈련된 편광 파라미터 구축 네트워크가 후행 객체 검출 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 다양한 편광 시각 작업에 대해 강건하고 일반화 가능한가?

주요 결과

• 제안된 프레임워크는 기존 방법에 비해 객체 검출에서 유의미하게 높은 평균 정밀도(mAP)를 달성한다.
• PPCN에서 1x1 컨벌루션 기반의 픽셀 단위 연산을 사용함으로써 원시 편광 영상에서 정보적인 편광 파라미터로의 효과적이고 학습 가능한 변환을 가능하게 한다.
• PPCN와 작업 네트워크의 공동 훈련은 고정되거나 수작업으로 설계된 편광 파라미터 계산 방식보다 더 나은 특징 표현 학습을 이끈다.
• 편광 시각을 위한 엔드 투 엔드 학습의 가능성을 입증하며, 사전 정의된 편광 특징에 의존하는 전통적 접근 방식을 능가한다.