[논문 리뷰] Distilling Localization for Self-Supervised Representation Learning

Nanxuan Zhao, Zhirong Wu외 2명|arXiv (Cornell University)|2020. 04. 14.

Visual Attention and Saliency Detection참고 문헌 54인용 수 11

한 줄 요약

이 논문은 배경에 민감하지 않은 증강을 통해 전경 객체 정위를 흡수함으로써 자기지도 대비 학습을 향상시키는 데이터 기반 방법인 DiLo를 제안한다. 정밀도 마스크를 추정하고 다양한 배경에 전경을 복사-붙여넣기 방식으로 증강함으로써 표현 학습을 향상시키며, ImageNet 분류 및 PASCAL VOC, COCO와 같은 객체 검출 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 정확도 향상 최대 6%를 기록한다.

ABSTRACT

Recent progress in contrastive learning has revolutionized unsupervised representation learning. Concretely, multiple views (augmentations) from the same image are encouraged to map to the similar embeddings, while views from different images are pulled apart. In this paper, through visualizing and diagnosing classification errors, we observe that current contrastive models are ineffective at localizing the foreground object, limiting their ability to extract discriminative high-level features. This is due to the fact that view generation process considers pixels in an image uniformly. To address this problem, we propose a data-driven approach for learning invariance to backgrounds. It first estimates foreground saliency in images and then creates augmentations by copy-and-pasting the foreground onto a variety of backgrounds. The learning still follows the instance discrimination pretext task, so that the representation is trained to disregard background content and focus on the foreground. We study a variety of saliency estimation methods, and find that most methods lead to improvements for contrastive learning. With this approach (DiLo), significant performance is achieved for self-supervised learning on ImageNet classification, and also for object detection on PASCAL VOC and MSCOCO.

연구 동기 및 목표

• 자기지도 대비 학습 모델이 분류 성능은 뛰어나지만 전경 객체를 정위하지 못하는 이유를 진단하기 위해.
• 현재의 대비 학습이 모든 이미지 영역을 동일하게 취급하여 모델이 배경 신호에 의존하게 되는 한계를 해결하기 위해.
• 배경 변화에 대해 표현이 불변이 되도록 유도하는 데이터 기반 증강 전략을 개발하기 위해.
• 더 나은 정위를 통해 특징의 구별 능력을 향상시켜 객체 검출과 같은 후행 작업에서의 전이 학습 성능을 향상시키기 위해.
• 이 정위 흡수 과정을 뒷받침하는 데 있어 다양한 정밀도 추정 방법의 효과를 평가하기 위해.

제안 방법

• 비지도 또는 학습된 정밀도 모델(예: RBD, BasNet)을 사용하여 훈련 이미지의 전경 정밀도 마스크를 추정한다.
• 다양한 배경 이미지에 정밀도가 높은 전경 객체를 복사-붙여넣기하여 증강을 생성하며, 객체 정체성을 유지하면서 맥락을 다양화한다.
• 증강된 시각은 표준 인스턴스 식별 사전 과제에 사용되어 배경 변화에 대해 표현이 불변이 되도록 유도한다.
• MoCo, CMC, InstDist와 같은 기존의 대비 학습 프레임워크와 호환되는 플러그 앤 플레이 방식이다.
• 정밀도 추정은 이미지 단위로 적용되며, 이를 통해 생성된 증강 쌍은 대비 학습 목표에 입력되어 기초 네트워크를 훈련시킨다.
• DiLo는 여러 자기지도 학습 기반 모델 및 후행 작업(예: ImageNet 분류, VOC 및 COCO에서의 객체 검출)을 통해 평가된다.

실험 결과

연구 질문

• RQ1 자기지도 대비 학습 모델이 분류 정확도는 뛰어나지만 전경 객체를 정위하지 못하는 이유는 무엇인가?
• RQ2 데이터 증강을 통해 전경 정위를 향상시키면 자기지도 표현 학습이 향상될 수 있는가?
• RQ3 다양한 정밀도 추정 방법이 정위 및 전이 정확도 측면에서 대비 학습 성능에 어떤 영향을 미치는가?
• RQ4 배경 콘텐츠에 대한 불변성을 학습하면 후행 검출 및 분류 작업에서 더 나은 일반화 성능을 얻을 수 있는가?
• RQ5 제안된 방법은 기존의 대비 학습 기법과 수직인지, 아키텍처 변경이 필요한가?

주요 결과

• DiLo는 ImageNet 선형 평가에서 기준 대비 학습 방법 대비 일관되게 2%에서 6%의 향상을 기록하며, 특히 학습된 정밀도(BasNet)를 사용할 경우 가장 높은 성과를 기록한다.
• PASCAL VOC 객체 검출에서 DiLo-BasNet은 56.9% AP를 달성하여 MoCo 기준(55.9%)을 초월하며, AP_{75} 기준으로는 감독 학습 기반 ImageNet 사전 훈련보다 5.3%포인트 높은 성능을 기록한다.
• MSCOCO에서 DiLo-BasNet은 40.1% AP^{bb}와 39.0% AP^{mk}_{75}를 기록하여 MoCo 기준(39.4% 및 38.0%)을 초월하며, AP^{mk}_{75}에서 0.7%의 성능 향상을 기록한다.
• 시각화 결과는 DiLo가 분류에 유의미한 객체 영역에 집중하는 반면, 기준 모델은 배경 콘텐츠에 혼란을 겪는 것을 확인하여 정위 향상의 타당성을 검증한다.
• DiLo는 MoCo-v1, MoCo-v2, CMC, InstDist 등 여러 대비 학습 프레임워크에서 효과적이며, 이는 그 방법의 수직성과 광범위한 적용 가능성을 보여준다.
• 실패 사례는 주로 다중 객체 장면이나 미세한 분류 범주에서 발생하며, 이는 복잡한 시각 조건 하에서 정밀도 추정의 한계와 일반화 능력의 제약을 시사한다.