[논문 리뷰] Probing the State of the Art: A Critical Look at Visual Representation Evaluation

Cinjon Resnick, Zeping Zhan외 1명|arXiv (Cornell University)|2019. 11. 30.

Multimodal Machine Learning Applications참고 문헌 32인용 수 10

한 줄 요약

이 논문은 자기지도 학습 시각 표현 평가에 선형 프로브를 사용하는 데에 의존하는 것에 도전하며, 선형 분류에서 성능이 열등한 모델이 비록 복잡하고 시간적 특성을 가진 과제인 영상 행동 로컬라이제이션에서 뛰어난 성능을 내는 것으로 보여준다. 새로운 데이터셋인 Gymnastics를 사용하여, CorrFlow 및 TimeCycle DFC와 같은 자기지도 학습 모델이 TSN, ResNet 등의 감독 학습 모델조차도 분포가 다른 영상 데이터에서 앞서는 것으로 나타났다. 이는 선형 프로브가 전이 능력을 평가하는 데에 부적절하며, 모델의 아키텍처적 편향이 평가 결과에 큰 영향을 미친다는 것을 시사한다.

ABSTRACT

Self-supervised research improved greatly over the past half decade, with much of the growth being driven by objectives that are hard to quantitatively compare. These techniques include colorization, cyclical consistency, and noise-contrastive estimation from image patches. Consequently, the field has settled on a handful of measurements that depend on linear probes to adjudicate which approaches are the best. Our first contribution is to show that this test is insufficient and that models which perform poorly (strongly) on linear classification can perform strongly (weakly) on more involved tasks like temporal activity localization. Our second contribution is to analyze the capabilities of five different representations. And our third contribution is a much needed new dataset for temporal activity localization.

연구 동기 및 목표

• 자기지도 학습 시각 표현 평가의 주요 지표로 사용되는 선형 프로브의 타당성을 도전하기 위해.
• 자기지도 학습 모델이 복잡하고 시간적 특성을 가진 영상 이해 과제에서 감독 학습 모델보다 더 잘 일반화되는지 조사하기 위해.
• 분포 편향을 줄이기 위해 설계된 더 크고 더 자연스러운 데이터셋인 Gymnastics를 소개하기 위해.
• 다양한 데이터 분포를 가진 여러 벤치마크에서 다섯 가지 표현(세 개의 자기지도 학습, 두 개의 감독 학습)의 전이 성능를 분석하기 위해.
• 선형 프로브에서 소수의 샘플 학습으로의 평가 전환을 주장하며, 샘플 복잡도가 전이 능력의 더 나은 지표임을 강조하기 위해.

제안 방법

• 저자들은 ImageNet과 CIFAR-10에서 선형 프로브를 사용하여 표준 벤치마크로 모델 간 표현 품질을 비교한다.
• 그들은 두 가지 시간적 행동 로컬라이제이션 데이터셋—Thumos14와 다중 클래스, 장시간 영상 클립을 포함한 새로 도입된 Gymnastics 데이터셋—에서 모델을 평가한다.
• 로컬라이제이션에 대해 이중 단계 접근법을 사용한다: 시간적 슬라이딩 윈도우를 통한 후보 영역 생성, 그 다음에 학습된 표현을 사용한 분류.
• 그들은 평균 평균 정밀도(mAP)와 다양한 후보 수(예: 100, 500, 1000개 후보)에서의 리콜을 사용하여 모델을 비교한다.
• 세 가지 평가 설정—선형 분류, Thumos14 로컬라이제이션, Gymnastics 로컬라이제이션—에서 모델 순위를 분석하여 성능 순서의 괴리 여부를 탐지한다.
• 분포 이탈에 대한 내성적 강건성 평가를 위해 도메인 적응형 미세조정(DFC)과 도메인 적응형이 아닌(NFC) 평가 프로토콜을 도입한다.

실험 결과

연구 질문

• RQ1 선형 프로브는 자기지도 학습 시각 표현의 전이 능력을 평가하는 데에 충분하거나 신뢰할 수 있는 지표인가?
• RQ2 테스트 분포가 훈련 분포와 다를 경우, 자기지도 학습 모델은 감독 학습 모델보다 시간적 행동 로컬라이제이션 과제에서 전이 성능가 더 우수한가?
• RQ3 아키텍처 선택 또는 훈련 데이터 분포 편향이 표준 평가 프로토콜에서 모델 순위에 얼마나 큰 영향을 미치는가?
• RQ4 자기지도 학습 표현은 소수의 샘플, 분포가 다른 전이 학습 시나리오에서 감독 학습 모델을 따라하거나 능가할 수 있는가?
• RQ5 비선형, 시간적 과제에서의 평가와 선형 프로브 과제에서의 평가 간에 모델 순위가 상당히 달라지는가?

주요 결과

• Thumos14 데이터셋에서는 감독 학습 모델인 TSN이 자기지도 학습 모델 전부를 앞서며, 유사한 데이터에서 훈련한 덕분에 분포상의 이점이 있음을 시사한다.
• 더 다양한 분포를 가진 Gymnastics 데이터셋에서는 CorrFlow DFC 및 TimeCycle DFC와 같은 자기지도 학습 모델이 TSN과 ResNet을 모두 능가하며, 특히 낮은 후보 수(예: 100개 후보)에서 강력한 일반화 능력을 보여준다.
• 선형 프로브 과제에서 높은 순위를 차지한 AMDIM은 시간적 로컬라이제이션 과제에선 성능이 열악하여 문헌에서의 강점과 괴리됨을 드러내며, 선형 평가와 비선형 평가 간의 괴리가 있음을 보여준다.
• 평가 과제 간 모델 순위가 상당히 다름: 예를 들어 TimeCycle은 선형 프로브에서는 높은 순위를 차지하지만 로컬라이제이션 과제에선 낮은 순위를 차지하는 반면, CorrFlow는 선형 과제에선 낮은 순위이지만 비선형 영상 과제에선 높은 순위를 기록한다.
• TSN의 성능은 UCF-101과 유사한 데이터에서 훈련된 덕분에 Thumos14에서 향상되지만, Gymnastics에서는 더 이질적인 분포를 가지므로 이 장점이 약화되며, 이는 분포 일치가 전이 성공에 핵심적임을 보여준다.
• 결과적으로 선형 프로브는 전이 능력을 측정하는 데에 부적절한 지표이며, 모델 순위가 평가 체계에 따라 일관되지 않으며, 소수의 샘플 학습에서의 샘플 복잡도가 전이 능력의 더 나은 지표가 될 수 있음을 시사한다.