[논문 리뷰] A Simple Fix for Convolutional Neural Network via Coordinate Embedding

Liliang Ren, Zhuonan Hao|arXiv (Cornell University)|2020. 03. 24.

Advanced Neural Network Applications참고 문헌 6인용 수 5

한 줄 요약

이 논문은 입력 이미지에 추가되는 정규화된 x 및 y 좌표 임베딩을 학습하여 컨볼루션 신경망에 공간 좌표 정보를 통합하는 간단하고 파rameter 효율적인 방법인 좌표 임베딩(CoordEmb)을 제안한다. 이 방법은 네트워크 아키텍처를 수정하거나 다시 학습할 필요 없이, GTSDB 벤치마크에서 mAP를 2.47% 향상시키며 애핀 변환에 대한 모델의 강건성을 향상시킨다.

ABSTRACT

Convolutional Neural Networks (CNN) has been widely applied in the realm of computer vision. However, given the fact that CNN models are translation invariant, they are not aware of the coordinate information of each pixel. Thus the generalization ability of CNN will be limited since the coordinate information is crucial for a model to learn affine transformations which directly operate on the coordinate of each pixel. In this project, we proposed a simple approach to incorporate the coordinate information to the CNN model through coordinate embedding. Our approach does not change the downstream model architecture and can be easily applied to the pre-trained models for the task like object detection. Our experiments on the German Traffic Sign Detection Benchmark show that our approach not only significantly improve the model performance but also have better robustness with respect to the affine transformation.

연구 동기 및 목표

• 이동 불변성으로 인해 CNN의 애핀 변환 처리 능력에 한계가 있음을 해결한다.
• 실세계 환경에서 소형 또는 가장자리에 국한된 물체에 대한 일반화 및 검출 성능을 향상시킨다.
• 사전 훈련된 모델의 아키텍처를 유지하면서 좌표 정보를 통합하는 방법을 개발한다.
• 시공간 왜곡, 예를 들어 시점 이동이나 물체 재배치에 대한 강건성을 향상시킨다.
• 네트워크 아키텍처를 변경하지 않고도 기존 객체 검출 파이프라인에 좌표 인식 기능을 쉽게 통합할 수 있도록 한다.

제안 방법

• 크기가 H×W×1인 두 개의 학습 가능한 정규화된 좌표 임베딩 행렬 X와 Y를 도입한다.
• 첫 번째 컨볼루션 레이어 이전에 입력 이미지 텐서 I ∈ ℝ^{H×W×C}의 각 채널에 좌표 임베딩을 더한다.
• 기존 모델 아키텍처를 유지하면서 표준 컨볼루션 레이어를 그대로 사용한다.
• 표준 최적화 기법(예: RMSprop)을 사용하여 좌표 임베딩을 네트워크의 나머지 부분과 함께 엔드 투 엔드로 훈련한다.
• GTSDB 데이터셋에서 Fine-tuning을 통해 SSD와 Inception V2 백본을 사용한 사전 훈련된 모델에 이 방법을 적용한다.
• 정규화와 학습 가능한 파rameter를 통해 임베딩이 공간적으로 인지 가능하고 척도 불변성을 확보한다.

실험 결과

연구 질문

• RQ1 CNN에 좌표 정보를 통합하면 애핀 왜곡이 있는 객체 검출 작업에서 성능 향상이 이루어지는가?
• RQ2 좌표 임베딩과 같은 단순하고 침습적이지 않은 방법이 소형 또는 가장자리에 국한된 물체 검출에서 표준 CNN보다 뛰어난 성능을 내는가?
• RQ3 모델 아키텍처를 변경하지 않고 좌표 임베딩이 시공간 변환에 대해 얼마나 강건성을 향상시킬 수 있는가?
• RQ4 이 방법은 다시 학습을 시작하지 않고도 사전 훈련된 모델에 효과적으로 적용될 수 있는가?
• RQ5 실세계 검출 환경에서 CoordConv와 같은 더 복잡한 대안보다 좌표 임베딩의 성능은 어떻게 비교되는가?

주요 결과

• CoordEmb를 적용한 SSD Inception V2 모델은 GTSDB 테스트 세트에서 mAP가 0.2041에서 0.2288로 절대적으로 2.47% 향상되었다.
• 특히 이미지 가장자리에 위치한 소형 및 중형 교통 표지의 검출 성능이 크게 향상되었다.
• 보통 CNN 대비 거리에 있는 속도 제한 표지와 같은 경계에 위치한 표지에 대해 신뢰도 점수를 최대 5% 향상시켰다.
• 보통 CNN이 실패하는 애핀 왜곡된 이미지에서도 모델은 높은 신뢰도(93% 및 55%)를 유지했다.
• 추론 지연 시간이나 모델 복잡도를 증가시키지 않으면서도 시점 왜곡에 대한 강건성을 향상시켰다.
• Liu 등이 제시한 벤치마크 작업을 통해 좌표 기반 작업(예: 회귀 및 분류)에 대한 일반화 능력이 향상되었음을 입증했다.