[논문 리뷰] Unsupervised learning of clutter-resistant visual representations from natural videos

Qianli Liao, Joel Z. Leibo외 1명|arXiv (Cornell University)|2014. 09. 12.

Face recognition and analysis참고 문헌 33인용 수 4

한 줄 요약

이 논문은 자연 영상에서 시차를 이용한 근접한 영상 프레임 간의 시간적 연관성을 활용하여, 레이블 없이 시각적 표현을 학습하는 생물학적으로 영감을 받은 비지도 학습 프레임워크를 제안한다. 대규모이고 클래스에 특화된 필터(템플릿)를 레이블이 없는 인터넷 영상에서 직접 샘플링하고, 스케일 및 변환에 걸쳐 정규화된 내적 곱과 최댓값 풀링을 적용함으로써, 레이블이나 정렬 없이도 LFW에서 최신 기술 수준의 성능을 달성하며, 혼잡함, 시점 변화, 이미지 변형에 대해 강건한 불변성을 입증한다.

ABSTRACT

Populations of neurons in inferotemporal cortex (IT) maintain an explicit code for object identity that also tolerates transformations of object appearance e.g., position, scale, viewing angle [1, 2, 3]. Though the learning rules are not known, recent results [4, 5, 6] suggest the operation of an unsupervised temporal-association-based method e.g., Foldiak's trace rule [7]. Such methods exploit the temporal continuity of the visual world by assuming that visual experience over short timescales will tend to have invariant identity content. Thus, by associating representations of frames from nearby times, a representation that tolerates whatever transformations occurred in the video may be achieved. Many previous studies verified that such rules can work in simple situations without background clutter, but the presence of visual clutter has remained problematic for this approach. Here we show that temporal association based on large class-specific filters (templates) avoids the problem of clutter. Our system learns in an unsupervised way from natural videos gathered from the internet, and is able to perform a difficult unconstrained face recognition task on natural images: Labeled Faces in the Wild [8].

연구 동기 및 목표

• 레이블이 없는 데이터에서 자연 영상으로부터 불변 시각 표현을 학습할 수 있는 생물학적으로 타당한 비지도 학습 방법을 개발하는 것.
• 실제 환경에서의 성능 저하를 초래하는 시간적 연관 기반 비지도 학습에서의 시각적 혼잡 문제를 해결하는 것.
• 정규화된 내적 곱과 풀링을 기반으로 하는 단순한 비모수적 전방향 계층 구조가 불확실한 얼굴 인식과 같은 복잡한 비전 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는지 보여주는 것.
• 자연 영상의 시간 연속성이 배경 혼잡이 존재하더라도 객체 수준의 불변성을 학습하는 데 강력한 인덕티브 바이어스로 기능할 수 있는지 검증하는 것.

제안 방법

• 모델은 각 층에서 입력 특징과 학습된 템플릿 간의 정규화된 내적 곱을 적용한 후 풀링을 수행하는 계층적 허벨-바이젤(HW) 아키텍처를 사용한다.
• 템플릿는 레이블이 없는 훈련 데이터에서 직접 샘플링되며, 특히 시간적으로 인접한 영상 프레임에서 유래하여 짧은 시간 창 동안 불변한 내용을 포착하는 '템플릿 북'을 형성한다.
• 시스템은 고정된 시간 창 τ 내에서 프레임 간의 연관성을 통해 시간 연속성을 활용하며, 운동이나 시점 변화로 인한 외관 변화가 있더라도 객체 정체성은 안정적이라고 가정한다.
• 두 단계로 구성된 특징 추출 과정을 사용한다: 첫 번째로 이미지 패치에서 저수준 특징(Gabor 및 PCA)을 추출하고, 두 번째로 이를 이용해 고수준 표현을 위한 템플릿을 생성한다.
• 풀링은 L-P 노름(P ∈ [1, ∞])을 사용하며, P=1은 평균 풀링, P→∞는 최댓값 풀링에 해당하여 공간적 위치, 스케일, 평면 내 회전에 걸쳐 반응을 민감하게 유연하게 집계할 수 있다.
• 최종 표현은 모든 템플릿과 공간 스케일에 대해 풀링하여 도출되며, 변환에 대해 불변한 객체 정체성을 코딩하는 압축된 서명 벡터를 생성한다.

실험 결과

연구 질문

• RQ1 자연 영상에서 근접한 프레임 간의 시간적 연관성을 활용하여, 레이블 없이도 혼잡에 강건한 시각적 표현을 학습할 수 있는가?
• RQ2 실제 영상 데이터에서 직접 샘플링한 대규모이고 클래스에 특화된 템플릿을 사용할 경우, 일반적 또는 합성 템플릿보다 시각적 혼잡에 대해 더 강건한가?
• RQ3 정규화된 내적 곱과 풀링을 기반으로 하는 단순하고 비모수적, 전방향 아키텍처가 불확실한 얼굴 인식과 같은 도전적인 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 시간 연속성을 통해 학습된 변환 불변성(예: 회전, 스케일, 이동)이, 명시적 탐지나 정렬 없이도 실제 환경에서의 인식을 지원하는 데 충분한가?

주요 결과

• 모델은 레이블이 없는 데이터나 정렬 없이도 Labeled Faces in the Wild (LFW) 벤치마크에서 경쟁 가능한 성능을 달성하여, 자연 영상에서의 비지도 학습이 레이블 없이도 강력한 얼굴 인식 능력을 제공할 수 있음을 입증했다.
• 시스템은 원본 LFW 데이터셋의 불확실하고 정렬되지 않은 이미지에서 직접 얼굴을 인식하여, 전체 탐지-정렬-인식 파이프라인을 거치지 않아도 되는 것을 보여주었다.
• 모델는 배경 요소가 각 프레임 간에 크게 변화하더라도 높은 성능를 유지하며 혼잡에 강건함을 입증했다.
• 중간 L-P 노름(P ≈ 2–4)을 사용한 풀링이 평균 풀링과 최댓값 풀링보다 얼굴 탐지 작업에서 더 우수한 성능를 보였으며, 민감도와 선택성의 균형이 최적임을 시사했다.
• 합성 또는 임의의 필터가 아닌 실제 영상 데이터에서 유도된 템플릿의 사용이 혼잡한 환경에서 불변성과 성능을 달성하는 데 핵심적인 역할을 했다.
• 이 방법은 224개의 YouTube 얼굴 영상에서의 비지도 사전학습만을 사용하여 그 시대에 LFW 벤치마크에서 최신 기술 수준의 성능를 달성했으며, 레이블 데이터에 대한 파인튜닝 없이도 가능했다.