[논문 리뷰] Look-into-Object: Self-supervised Structure Modeling for Object Recognition

Mohan Zhou, Yalong Bai외 3명|arXiv (Cornell University)|2020. 03. 31.

Advanced Neural Network Applications참고 문헌 39인용 수 12

한 줄 요약

이 논문은 Look-into-Object (LIO)를 제안하며, 객체의 전체적인 구조를 모델링하기 위해 두 가지 플러그인 모듈인 Object-Extent Learning (OEL)과 Spatial Context Learning (SCL)을 통해 자기지도 학습 프레임워크를 개선한다. OEL은 객체 전체의 범위를 국소화하기 위해 설계되었고, SCL은 객체 내부의 상대적 공간 관계를 예측한다. 이 방법은 추가적인 애너테이션 없이도 이미지 분류 성능을 향상시키며, 추론 비용이 증가하지 않도록 하면서 ImageNet, CUB, Cars, Aircraft 벤치마크에서 뚜렷한 정확도 향상을 달성한다. 이는 클래스 내 영역 간 상관관계와 상대 좌표 예측을 통한 자기지도 학습에 기반한다.

ABSTRACT

Most object recognition approaches predominantly focus on learning discriminative visual patterns while overlooking the holistic object structure. Though important, structure modeling usually requires significant manual annotations and therefore is labor-intensive. In this paper, we propose to "look into object" (explicitly yet intrinsically model the object structure) through incorporating self-supervisions into the traditional framework. We show the recognition backbone can be substantially enhanced for more robust representation learning, without any cost of extra annotation and inference speed. Specifically, we first propose an object-extent learning module for localizing the object according to the visual patterns shared among the instances in the same category. We then design a spatial context learning module for modeling the internal structures of the object, through predicting the relative positions within the extent. These two modules can be easily plugged into any backbone networks during training and detached at inference time. Extensive experiments show that our look-into-object approach (LIO) achieves large performance gain on a number of benchmarks, including generic object recognition (ImageNet) and fine-grained object recognition tasks (CUB, Cars, Aircraft). We also show that this learning paradigm is highly generalizable to other tasks such as object detection and segmentation (MS COCO). Project page: https://github.com/JDAI-CV/LIO.

연구 동기 및 목표

• 현재 객체 인식 모델이 분류에 유리한 시각적 패턴에 집중하면서 전체 객체의 구조를 간과하는 한계를 해결하기 위해.
• 수동 애너테이션 없이 추론 시간을 증가시키지 않고 객체 구조를 모델링하는 자기지도 학습 프레임워크를 개발하기 위해.
• 일반적인 플러그인 모듈을 통해 깊이 신경망의 백본에 구조적 인덕티브 바이어스를 통합하여 표현 학습을 향상시키기 위해.
• 객체의 범위와 내부 공간적 맥락을 모델링함으로써 특징 국소화와 분류의 강건성을 향상시킬 수 있음을 입증하기 위해.
• MS COCO에서의 객체 검출 및 세그멘테이션을 포함한 다양한 작업으로의 일반화 능력을 검증하기 위해.

제안 방법

• Object-Extent Learning (OEL)은 같은 카테고리에서 온 양성 이미지들과 쿼리 이미지 간의 영역 수준 상관관계를 측정하여 객체 범위의 가짜 마스크를 생성한다. 이는 이미지 수준의 레이블만을 사용한다.
• OEL 모듈은 백본이 가짜 마스크를 엔드 투 엔드로 회귀하도록 학습시켜, 경계 박스나 세그멘테이션 애너테이션 없이도 전체 객체 범위를 국소화할 수 있도록 한다.
• Spatial Context Learning (SCL)은 객체 범위 내의 영역 쌍 간의 상대 극좌표를 예측하여, 자기지도 방식으로 내부 구조적 조합을 모델링한다.
• SCL은 두 개의 스트림을 사용한 대비 학습 설정을 통해 공간 관계를 예측하며, 이는 네트워크가 객체 부분의 구조적 표현을 학습하도록 유도한다.
• OEL과 SCL은 경량 모듈이므로 추론 시에 분리될 수 있으며, 원래의 백본의 모델 크기와 추론 속도를 유지한다.
• 이 프레임워크는 어떤 표준 분류 백본(예: ResNet, ResNeXt)과도 통합 가능하며, 교차 엔트로피 손실(분류용)과 OEL 및 SCL를 위한 보조 손실을 결합하여 학습된다.

실험 결과

연구 질문

• RQ1 자기지도 학습을 통한 객체 범위 및 내부 공간적 구조 학습이 추가 애너테이션 없이도 객체 인식 성능 향상에 기여할 수 있는가?
• RQ2 전체 객체 범위를 모델링하면 특징 맵에서 분류에 도움이 되는 영역의 국소화에 어떤 영향을 미치는가?
• RQ3 객체 부분 간의 상대 공간 관계를 예측함으로써 특징 표현의 품질은 어느 정도 향상되는가?
• RQ4 제안된 모듈이 표준 백본에 효과적으로 통합되고 다양한 인식 작업으로 일반화되는가?
• RQ5 자기지도 구조 모델링이 객체 검출 및 인스턴스 세그멘테이션과 같은 후행 작업에서 성능 향상에 기여하는가?

주요 결과

• CUB 데이터셋에서 LIO는 87.31%의 top-1 정확도를 기록하여 ResNet-50(85.50%) 대비 1.81% 향상되며, 세부 인식에서 뚜렷한 성능 향상을 보였다.
• Cars 데이터셋에서 LIO는 93.89%의 정확도를 달성하여 ResNet-50 대비 1.16% 향상되었으며, 시각적 변동에 대해 강력한 내성성을 보였다.
• 제거 실험을 통해 OEL과 SCL이 독립적으로 기여하며 상호 보완적임을 확인했으며, SCL은 객체 범위 내에서 분류에 도움이 되는 영역을 체계적으로 추출하는 데 기여한다.
• OEL에 대해 배치당 3개의 양성 이미지만 사용해도 거의 최적의 성능를 달성했으며, 계산 비용과 구조 학습 품질 간의 균형을 잘 맞춘다.
• 가짜 마스크를 진짜 세그멘테이션 마스크로 대체했을 때 정확도가 0.1%만 감소했으며(87.3% 대비 87.4% on CUB), 자기지도 마스크 생성 품질이 매우 높음을 시사한다.
• 추가 파라미터 수는 0.26백만 개(ResNet-50의 1.01%)에 불과하며, 추론 시 두 모듈을 제거할 수 있어 모델 효율성이 유지된다.