[논문 리뷰] SGNet: A Super-class Guided Network for Image Classification and Object Detection

Kaidong Li, Nina Y. Wang외 2명|arXiv (Cornell University)|2021. 04. 26.

Advanced Neural Network Applications참고 문헌 35인용 수 5

한 줄 요약

SGNet는 계층적 의미 지식을 슈퍼클래스 및 세분화된 클래스에서 이중 브랜치 학습을 통해 통합함으로써 이미지 분류 및 객체 검출을 향상시키는 슈퍼클래스 유도 네트워크를 제안한다. 고수준 의미 클러스터링을 통해 슈퍼클래스 브랜치(SCB)가 세분화된 클래스 브랜치(FCB)를 유도함으로써 SGNet은 최소한의 계산 오버헤드로 일관된 성능 향상을 달성하며, MS COCO에서 IoU=0.50일 때 최대 1.1%의 AP 향상을 기록한다.

ABSTRACT

Most classification models treat different object classes in parallel and the misclassifications between any two classes are treated equally. In contrast, human beings can exploit high-level information in making a prediction of an unknown object. Inspired by this observation, the paper proposes a super-class guided network (SGNet) to integrate the high-level semantic information into the network so as to increase its performance in inference. SGNet takes two-level class annotations that contain both super-class and finer class labels. The super-classes are higher-level semantic categories that consist of a certain amount of finer classes. A super-class branch (SCB), trained on super-class labels, is introduced to guide finer class prediction. At the inference time, we adopt two different strategies: Two-step inference (TSI) and direct inference (DI). TSI first predicts the super-class and then makes predictions of the corresponding finer class. On the other hand, DI directly generates predictions from the finer class branch (FCB). Extensive experiments have been performed on CIFAR-100 and MS COCO datasets. The experimental results validate the proposed approach and demonstrate its superior performance on image classification and object detection.

연구 동기 및 목표

• 표준 CNN이 의미 계층을 고려하지 않고 모든 클래스를 동일하게 취급하는 한계를 해결하기 위해.
• 학습 중 슈퍼클래스에서 유도된 고수준 의미 지식을 통합함으로써 모델의 일반화 및 강인성을 향상시키기 위해.
• 더 조밀한 클래스 예측을 더 넓고 의미가 있는 카테고리로 유도함으로써 더 나은 특징 학습을 가능하게 하기 위해.
• 기존의 분류 및 검출 모델과 호환되는 플러그 앤 플레이 아키텍처를 설계하기 위해.
• CIFAR-100 및 MS COCO를 포함한 다양한 벤치마크에서 슈퍼클래스 유도의 효과를 검증하기 위해.

제안 방법

• 슈퍼클래스 브랜치(SCB)는 고수준 의미 카테고리에서 학습되고, 세분화된 클래스 브랜치(FCB)는 세부 분류를 위해 사용되는 이중 브랜치 아키텍처를 도입한다.
• SCB와 FCB 간에 백본 특징 추출기를 공유하면서도 각 브랜치의 별도 분류 헤드를 유지한다.
• 두 단계 학습 전략을 사용하여 SCB와 FCB가 교차 엔트로피 손실을 함께 최적화하며, SCB에서의 오분류는 더 높은 벌점이 적용된다.
• 두 가지 추론 전략을 적용한다: 두 단계 추론(TSI)은 먼저 슈퍼클래스를 예측한 후 세분화된 클래스를 추론하고, 직접 추론(DI)은 FCB에서 바로 세분화된 클래스 예측을 출력한다.
• Faster R-CNN 프레임워크를 변형하여 분류 헤드를 확장하여 94개의 클래스(12개의 슈퍼클래스 + 81개의 세분화된 클래스)를 출력하도록 하며, SCB와 FCB에 대해 별도의 손실 구성 요소를 사용한다.
• 안정적인 학습을 위해 손실 값을 [0,1]로 정규화하고, 초기 학습률 10⁻²를 사용하며, 매 5 에포크마다 학습률을 감소시키는 전략을 적용한다.

실험 결과

연구 질문

• RQ1 슈퍼클래스 의미 정보를 통합하면 이미지 분류 및 객체 검출 모델의 일반화 및 강인성이 향상되는가?
• RQ2 고수준 의미 특징으로 세분화된 클래스 예측을 유도하면 표준 병렬 분류보다 성능이 향상되는가?
• RQ3 공유된 백본과 이중 감독을 갖는 이중 브랜치 아키텍처가 수렴성과 추론 정확도에 어떤 영향을 미치는가?
• RQ4 슈퍼클래스 유도가 작은 IoU 임계값과 큰 객체 검출에서 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법이 VGG-16 및 Faster R-CNN과 같은 기존 모델에 최소한의 아키텍처 변경으로 효과적으로 적용될 수 있는가?

주요 결과

• SGNet은 원본 VGG-16 대비 MS COCO에서 평균 정밀도(AP)를 0.6% 향상시켰으며, IoU=0.50일 때 최대 1.1% 향상되었다.
• 큰 객체에 대해 더 나은 성능을 기록하였으며, 큰 객체의 AP가 40.3%에서 41.2%로 0.9% 향상되었다.
• SGNet은 표준 VGG-16보다 초기 학습 단계에서 더 빠르게 손실이 수렴하는 경향을 보였다.
• SGNet의 크기와 추론 시간(43.4ms)은 원본 VGG-16(43.0ms)과 거의 동일하여 최소한의 추론 오버헤드를 유도함을 시사한다.
• SGNet은 MS COCO에서 29.2 AP를 기록하여 베이스라인 VGG-16(28.6 AP)를 초월했으며, 모든 AP 지표에서 일관된 향상을 기록했다.
• 이 방법은 CIFAR-100에서의 이미지 분류와 MS COCO에서의 객체 검출 모두에 효과적이며, 광범위한 적용 가능성을 입증했다.