[논문 리뷰] Irregular Convolutional Neural Networks

Jiabin Ma, Wei Wang외 1명|arXiv (Cornell University)|2017. 06. 24.

Advanced Neural Network Applications참고 문헌 23인용 수 5

한 줄 요약

이 논문은 컨볼루션 커널 형상을 가중치와 함께 학습 가능한 파라미터로 삼는 불규칙 컨볼루션 신경망(ICNN)을 제안한다. 이는 의미 분할과 같은 작업에서 불규칙한 특징 패턴에 더 잘 적합하도록 한다. 미분 가능한 이차보간을 사용하여 ICNN은 커널 형상을 엔드 투 엔드로 학습하며, 파rameter 수를 줄이고도 성능을 향상시킨다. 특히 PASCAL VOC 2012에서 43.1% mIoU, CITYSCAPE에서 72.9% mIoU를 기록한다.

ABSTRACT

Convolutional kernels are basic and vital components of deep Convolutional Neural Networks (CNN). In this paper, we equip convolutional kernels with shape attributes to generate the deep Irregular Convolutional Neural Networks (ICNN). Compared to traditional CNN applying regular convolutional kernels like ${3 imes3}$, our approach trains irregular kernel shapes to better fit the geometric variations of input features. In other words, shapes are learnable parameters in addition to weights. The kernel shapes and weights are learned simultaneously during end-to-end training with the standard back-propagation algorithm. Experiments for semantic segmentation are implemented to validate the effectiveness of our proposed ICNN.

연구 동기 및 목표

• 고정된 규칙적인 컨볼루션 커널 형상과 불규칙한 입력 특징 패턴 간의 불일치 문제를 해결하기 위해.
• 입력 특징의 기하학적 구조에 맞게 커널 형상을 적응시킴으로써 특징 추출 효율성을 향상시키기 위해.
• 네트워크 깊이나 파rameter 수를 늘리지 않고도 모델링 능력을 향상시키기 위해 불규칙 커널 형상을 학습하기 위해.
• 표준 역전파를 사용해 커널 가중치와 형상 파라미터를 동시에 엔드 투 엔드로 학습할 수 있도록 하기 위해.

제안 방법

• 역전파 중에 커널 형상 학습이 가능하도록 이차보간을 사용한 미분 가능한 형상 파aram터화를 도입한다.
• 고정된 격자 위치가 아닌 학습 가능한 공간 위치(형상 변수)의 집합으로 각 커널을 표현함으로써, 가중치가 배치되는 위치를 정의한다.
• 이차보간을 적용하여 불규칙하게 배치된 커널 가중치를 특징 맵 위치에 매핑함으로써, 미분 가능성을 확보한다.
• 모든 커널에 동일한 형상을 공유함으로써 계산을 단순화하고 복잡성을 줄이며 성능 유지에 기여한다.
• 표준 역전파를 통해 커널 가중치와 형상 파라미터를 동시에 최적화함으로써 기존 CNN 아키텍처에 쉽게 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 커널 형상은 불규칙한 특징 패턴을 가진 작업에서 딥 CNN의 특징 표현을 향상시킬 수 있는가?
• RQ2 불규칙 커널 형상의 엔드 투 엔드 학습은 의미 분할 성능에 어떤 영향을 미치는가?
• RQ3 규칙적 커널 대비 불규칙 커널은 얼마나 많은 파라미터 부족 현상을 줄일 수 있는가?
• RQ4 고정된 구조를 가진 커널보다 불규칙 커널이 전역 및 국소적 맥락을 더 잘 포착할 수 있는가?

주요 결과

• ICNN는 PASCAL VOC 2012에서 43.1% mIoU를 기록하여 의미 분할 분야에서 최신 기술 수준의 성능을 입증한다.
• CITYSCAPE 데이터셋에서는 72.9% mIoU를 달성하여 복잡한 도시 환경에 대한 강력한 일반화 능력을 보여준다.
• 시각화 결과 불규칙 커널이 방해가 되는 공간적 반응을 효과적으로 제거하고 관련 객체 부분에 더 잘 집중하는 것으로 나타났다.
• ICNN의 더 깊은 층에서는 길쭉하고 스트립 형태의 커널 분포가 발달하여 파라미터 수를 줄이고도 더 큰 효과적 수신장역할을 한다.
• ICNN는 머리와 몸과 같은 전역 맥락을 효과적으로 통합하여, 목 등 작은 크기나 부분적으로 가려진 객체의 정확한 레이블링을 가능하게 한다.