[논문 리뷰] Visual Recognition by Counting Instances: A Multi-Instance Cardinality Potential Kernel

Hossein Hajimirsadeghi, Yan Wang외 2명|arXiv (Cornell University)|2015. 02. 06.

Human Pose and Action Recognition참고 문헌 30인용 수 11

한 줄 요약

이 논문은 비디오나 장면을 '백'으로 모델링하고, 관련 인스턴스(예: 프레임 또는 사람)의 수를 기반으로 시각적 인식을 수행하는 커널 기반 다중 인스턴스 학습 프레임워크를 제안한다. 확률적 잠재 구조 모델을 사용하여 '다수' 또는 '더 많을수록 더 좋다'와 같은 딱딱한 또는 부드러운 기수 제약 조건(예: 'majority' 또는 'the more, the better')를 인코딩한다. 이는 집단적 활동 인식, 영상 이벤트 검출(TRECVID MED11), 영상 요약(SumMe)에서 최신 기술 수준의 성능을 달성하며, mAP가 5.0%에서 6.1%로 향상되었고, 일반적인 특징만을 사용함에도 불구하고 경쟁 가능한 결과를 내었다.

ABSTRACT

Many visual recognition problems can be approached by counting instances. To determine whether an event is present in a long internet video, one could count how many frames seem to contain the activity. Classifying the activity of a group of people can be done by counting the actions of individual people. Encoding these cardinality relationships can reduce sensitivity to clutter, in the form of irrelevant frames or individuals not involved in a group activity. Learned parameters can encode how many instances tend to occur in a class of interest. To this end, this paper develops a powerful and flexible framework to infer any cardinality relation between latent labels in a multi-instance model. Hard or soft cardinality relations can be encoded to tackle diverse levels of ambiguity. Experiments on tasks such as human activity recognition, video event detection, and video summarization demonstrate the effectiveness of using cardinality relations for improving recognition results.

연구 동기 및 목표

• 이벤트나 활동에 관여하는 관련 인스턴스(예: 프레임 또는 사람)의 수를 모델링하여 시각적 인식의 모호성과 혼잡함을 해결한다.
• 구조적 학습 프레임워크에 '다수' 또는 '더 많을수록 더 좋다'와 같은 기수 관계를 인코딩하여 인식의 강건성을 향상시킨다.
• 기수 잠재력 함수를 갖는 다중 인스턴스 모델에 대해 원칙적이고 효율적이며 정확한 추론 및 학습 방법을 개발한다.
• 다양한 시각적 인식 작업(영상 이벤트 검출, 요약 등)에 걸쳐 기수 기반 모델링의 효과성을 입증한다.

제안 방법

• 각 영상 또는 장면을 프레임 또는 개인과 같은 '백'으로 모델링하며, 각 인스턴스가 관심 클래스에 속하는지 여부를 나타내는 잠재 레이블을 사용한다.
• 백을 나타내기 위해 확률적 잠재 구조 모델을 사용하며, 각 인스턴스의 레이블은 관측되지 않으며, 모델은 기수 잠재력 함수를 통해 상관관계를 포착한다.
• 구조적 잠재 모델 위에 새로운 커널 함수를 정의하여 정확한 추론과 학습을 가능하게 하는 커널 기반 분류를 실현한다.
• 기수 잠재력은 정규분포(예: μ=1, σ=0.1)를 사용하여 모델링되며, '관련 프레임이 많을수록 예측의 신뢰도가 높아진다'와 같은 부드러운 제약 조건을 허용한다.
• 이 프레임워크는 딱딱한 제약 조건(예: 다수의 규칙)과 부드러운 기수 가정을 모두 지원하여 다양한 모호성 수준에 적응 가능한 유연성을 가진다.
• 표준 분류기와 함께 사용 가능한 오프더쉘프 커널 또는 구조적 학습 도구와 통합되어 플러그 앤 플레이 방식으로 활용 가능하다.

실험 결과

연구 질문

• RQ1 관련 인스턴스(예: 프레임 또는 사람)의 수를 모델링하면 시각 작업의 인식 성능 향상에 기여할 수 있는가?
• RQ2 구조적 학습 프레임워크에 '다수' 또는 '더 많을수록 더 좋다'와 같은 기수 제약 조건을 효과적으로 인코딩할 수 있는가?
• RQ3 기수 잠재력 함수를 갖는 잠재 구조 모델 기반의 커널화된 접근 방식이 영상 인식 작업에서 기존 방법보다 더 높은 성능을 내는가?
• RQ4 이러한 방법은 이벤트 검출, 활동 인식, 영상 요약과 같은 다양한 작업에 일반화될 수 있는가?

주요 결과

• TRECVID MED11 영상 이벤트 검출 벤치마크에서 제안된 방법은 평균 평균 정밀도(mAP) 6.1%를 달성하여 이전 최고 성능 방법(다중-g ∝ SVM, 5.0%)을 초월하였다.
• 집단적 활동 인식에서, 기수 제약 조건을 활용하여 다수의 동작이 동시에 발생할 경우의 모호성을 해결하고, 다수의 동작을 우선시함으로써 성능 향상을 이룩하였다.
• SumMe 데이터셋에서의 영상 요약 작업에서는 일반적인 특징(HSV 히스토그램 및 밀도 궤적)만을 사용했음에도 불구하고, 베이스라인 SVM 및 SVR 방법보다 뛰어난 성능을 내며 경쟁 가능한 결과를 달성하였다.
• 특히 모든 관련 프레임이 동일하게 중요하거나 명확하게 레이블링되지 않는 상황에서, 레이블링의 모호성과 혼잡함에 대해 강건함을 입증하였다.
• 커널 기반 프레임워크는 정확한 추론과 학습을 가능하게 하여 실생활 시각적 인식 응용 분야에서 실용적이고 효율적인 솔루션을 제공하였다.