[논문 리뷰] Superpixel-based Domain-Knowledge Infusion in Computer Vision.

Gunjan Chhablani, Abheesht Sharma외 2명|arXiv (Cornell University)|2021. 05. 19.

Visual Attention and Saliency Detection참고 문헌 10인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNNs)을 사용하여 초픽셀 기반의 관계 지식을 합성곱 신경망(CNNs)에 통합하는 하이브리드 딥 러닝 모델을 제안한다. 이를 통해 이미지 분류 성능을 향상시킨다. 공간적 특징 추출을 위한 CNN과 초픽셀 간 관계를 모델링하기 위한 GNN을 결합하고, 새로운 '하이브리드' 손실 함수를 사용함으로써, 다양한 벤치마크와 실제 응용 과제(의료 영상 및 생체 인식 포함)에서 향상된 성능을 달성한다.

ABSTRACT

Superpixels are higher-order perceptual groups of pixels in an image, often carrying much more information than raw pixels. There is an inherent relational structure to the relationship among different superpixels of an image. This relational information can convey some form of domain information about the image, e.g. relationship between superpixels representing two eyes in a cat image. Our interest in this paper is to construct computer vision models, specifically those based on Deep Neural Networks (DNNs) to incorporate these superpixels information. We propose a methodology to construct a hybrid model that leverages (a) Convolutional Neural Network (CNN) to deal with spatial information in an image, and (b) Graph Neural Network (GNN) to deal with relational superpixel information in the image. The proposed deep model is learned using a generic hybrid loss function that we call a `hybrid' loss. We evaluate the predictive performance of our proposed hybrid vision model on four popular image classification datasets: MNIST, FMNIST, CIFAR-10 and CIFAR-100. Moreover, we evaluate our method on three real-world classification tasks: COVID-19 X-Ray Detection, LFW Face Recognition, and SOCOFing Fingerprint Identification. The results demonstrate that the relational superpixel information provided via a GNN could improve the performance of standard CNN-based vision systems.

연구 동기 및 목표

• 관계 기반 초픽셀 정보를 도메인 지식으로 통합하여 컴퓨터 비전 모델의 성능을 향상시키는 것.
• 표준 CNN이 이미지 영역 간의 고차원 구조적 관계를 포착하는 데 한계를 가진다는 문제를 해결하는 것.
• CNN과 GNN을 사용하여 공간적 특징과 관계적 특징을 동시에 학습하는 통합된 딥 러닝 프레임워크를 개발하는 것.
• 제안된 방법의 효과성을 다양한 이미지 분류 과제, 특히 실제 응용 사례에서 평가하는 것.
• 관계 기반 초픽셀 정보가 표준 CNN을 초월해 예측 성능을 향상시킬 수 있음을 보여주는 것.

제안 방법

• 이 방법은 초픽셀 분할 알고리즘을 사용하여 픽셀을 더 높은 차원의 지각 단위로 그룹화함으로써, 원시 픽셀보다 더 의미 있는 이미지 구조를 포착한다.
• 이미지에서 국소적 픽셀 수준 패턴을 활용하여 공간적 특징을 추출하기 위해 합성곱 신경망(CNN)을 사용한다.
• 초픽셀 간의 관계 구조를 모델링하기 위해 그래프 신경망(GNN)을 적용하며, 얼굴에서 '두 개의 눈'과 같은 의미적 관계를 인코딩한다.
• CNN의 분류 손실과 GNN의 관계 일致성 손실을 결합한 새로운 '하이브리드' 손실 함수를 사용하여 모델을 훈련한다.
• 최종 예측은 CNN 및 GNN 브랜치의 특징을 융합하여 생성되며, 이로써 공간적 및 관계적 표현의 공동 최적화가 가능해진다.
• 아키텍처는 엔드 투 엔드로 훈련 가능하여, 모델이 동시에 최적의 초픽셀 표현과 그 관계적 의존성을 학습할 수 있다.

실험 결과

연구 질문

• RQ1 관계 기반 초픽셀 정보는 표준 CNN 기반 이미지 분류 모델의 성능을 향상시킬 수 있는가?
• RQ2 초픽셀을 통해 CNN과 GNN을 통합하여 고차원 이미지 구조를 모델링하는 데 얼마나 효과적인가?
• RQ3 제안된 하이브리드 손실 함수는 표준 학습 목표에 비해 특징 학습을 향상시키는가?
• RQ4 모델은 의료 영상 및 생체 인식을 포함한 다양한 데이터셋에 대해 얼마나 일반화되는가?
• RQ5 초픽셀 기반 도메인 지식은 시각 과제에서 대규모 레이블 데이터에 대한 의존도를 줄일 수 있는가?

주요 결과

• 제안된 하이브리드 모델은 MNIST, FMNIST, CIFAR-10, CIFAR-100의 네 가지 벤치마크 데이터셋에서 표준 CNN을 모두 능가한다.
• CNN과 GNN의 통합은 SOCOFing 지문 식별 데이터셋에서 성능을 크게 향상시켜 생체 인식 과제에서의 강건성을 입증한다.
• LFW 얼굴 인식 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하여 미세한 인식 작업으로의 강력한 일반화 능력을 보여준다.
• 코로나19 X-ray 검출 과제에서 뚜렷한 성능 향상을 보이며, 의료 영상 응용 분야에서의 유용성을 입증한다.
• 제거 분석 결과, 초픽셀의 관계 정보가 특히 복잡한 시각 인식 과제에서 모델 정확도에 의미 있는 기여를 한다는 것이 확인된다.
• 하이브리드 손실 함수는 공간적 및 관계적 학습을 효과적으로 균형 잡아, 더 일관되고 구분력 있는 특징 표현을 이끌어낸다.