[논문 리뷰] Recognizing Image Objects by Relational Analysis Using Heterogeneous Superpixels and Deep Convolutional Features

Alex Yang, Charlie Veal외 2명|arXiv (Cornell University)|2019. 08. 02.

Visual Attention and Saliency Detection참고 문헌 16인용 수 5

한 줄 요약

이 논문은 공간적으로 구조화된 표현으로 깊이 있는 컨volutional 특징을 정리하기 위해 이종(superpixel)을 활용하는 슈퍼픽셀 캡슐 네트워크를 제안한다. 이는 캡슐 라우팅을 통한 관계 분석을 가능하게 하여 이미지 분류의 해석 가능성 향상을 도모한다. 모델은 VGG-16 대비 88% 적은 파라미터로 89%의 검증 정확도를 달성하여, 세그멘테이션 레이블이 없이도 강력한 일반화 능력과 해석 가능한 부분-전체 객체 관계를 확보한다.

ABSTRACT

Superpixel-based methodologies have become increasingly popular in computer vision, especially when the computation is too expensive in time or memory to perform with a large number of pixels or features. However, rarely is superpixel segmentation examined within the context of deep convolutional neural network architectures. This paper presents a novel neural architecture that exploits the superpixel feature space. The visual feature space is organized using superpixels to provide the neural network with a substructure of the images. As the superpixels associate the visual feature space with parts of the objects in an image, the visual feature space is transformed into a structured vector representation per superpixel. It is shown that it is feasible to learn superpixel features using capsules and it is potentially beneficial to perform image analysis in such a structured manner. This novel deep learning architecture is examined in the context of an image classification task, highlighting explicit interpretability (explainability) of the network's decision making. The results are compared against a baseline deep neural model, as well as among superpixel capsule networks with a variety of hyperparameter settings.

연구 동기 및 목표

• 이미지 분류를 위한 표준 딥러닝 특징 공간에서의 공간적 구조 부족과 해석 가능성 부족 문제를 해결하기 위해.
• 슈퍼픽셀을 차원 감소를 넘어서 관계 기반 특징 학습을 위한 구조적 기초로 활용할 수 있는지 탐색하기 위해.
• 슈퍼픽셀 세그멘테이션을 통해 캡슐 활성화를 공간적 객체 부분과 연결함으로써 모델의 설명 가능성 향상하기 위해.
• 개체 세그멘테이션 레이블이 필요 없이 이미지 수준의 분류 레이블만으로도 엔드 투 엔드 객체 인식을 가능하게 하기 위해.
• 구조화된 특징 정렬과 캡슐 기반의 관계 추론을 통해 모델 복잡도를 감소시키면서도 뛰어난 성능 유지하기 위해.

제안 방법

• 입력 이미지에서 깊이 있는 컨볼루션 특징을 추출하기 위해 VGG-16을 백본으로 사용한다.
• 그래프 기반 세그멘테이션 알고리즘을 사용해 슈퍼픽셀을 생성하며, 공간적 및 의미적 구조를 유지하기 위해 이종(비균일)한 슈퍼픽셀 크기를 사용한다.
• 각 슈퍼픽셀은 깊이 있는 특징 집합과 연결되어 특징을 공간적 객체 부분과 연결하는 구조화된 벡터 표현을 형성한다.
• 캡슐 레이어를 이러한 슈퍼픽셀 기반 특징에 적용하여 동적 라우팅을 통해 부분-전체 관계를 모델링한다.
• 엔드 투 엔드로 훈련되며, 이미지 수준의 분류 레이블만을 사용하여 공간적 관계에 주목함으로써 자기지도형 엔티티 세그멘테이션을 가능하게 한다.
• 모델 성능은 검증 정확도와 일반화 능력 측정을 통해 평가되며, 표준 VGG-16과의 비교 및 슈퍼픽셀 크기와 하이퍼파라미터에 대한 아블레이션 연구를 포함한다.

실험 결과

연구 질문

• RQ1 이종 슈퍼픽셀이 관계 기반 추론을 향상시키는 방식으로 깊이 있는 컨볼루션 특징를 조직하는 데 효과적인 구조적 사전 지식로 기능할 수 있는가?
• RQ2 슈퍼픽셀을 통한 특징 정렬과 캡슐 라우팅 적용이 이미지 분류에서 모델의 해석 가능성 향상에 기여하는가?
• RQ3 슈퍼픽셀 기반 캡슐 네트워크는 VGG-16과 같은 표준 딥 네트워크에 비해 훨씬 적은 파라미터로 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ4 모델 성능은 슈퍼픽셀 크기와 엔트로피에 얼마나 의존하는가? 이는 특징의 매끄러움과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 세그멘테이션 레이블이 없이도 이미지 수준의 레이블만으로도 의미 있는 객체 부분 세그멘테이션을 생성할 수 있는가?

주요 결과

• 슈퍼픽셀 캡슐 네트워크는 4개 클래스로 구성된 이미지 분류 데이터셋에서 89%의 검증 정확도를 달성하여 낮은 파라미터 수로도 뛰어난 성능을 보였다.
• 모델은 총 1700만 개의 학습 가능한 파라미터를 사용했으며, VGG-16의 13400만 개 대비 88% 감소한 것으로, 유사한 학습 및 검증 정확도를 유지함으로써 양호한 일반화 능력을 보였다.
• 학습 전반에 걸쳐 학습 정확도와 검증 정확도가 밀접하게 일치함으로써 과적합이 최소화된 안정적인 추론 성능을 보였다.
• 작은 슈퍼픽셀(예: 그림 8g 및 8h)은 특징 기여도가 덜 매끄럽고 강한 강도 진동을 유발하여 높은 모델 복잡도로 인한 불안정성을 암시했다.
• 특히 중간 엔트로피 범위의 이종 슈퍼픽셀 사용은 과도하게 세분화되거나 부족하게 세분화된 슈퍼픽셀 설정에 비해 더 나은 특징 정렬과 향상된 관계 모델링을 가능하게 했다.
• 세그멘테이션 레이블 없이도 캡슐 활성화를 슈퍼픽셀 영역으로 다시 매핑함으로써, 부분이 객체 인식 결정에 어떻게 기여하는지 내재된 설명 가능성 기능을 입증했다.