[논문 리뷰] Improving Human Activity Recognition Through Ranking and Re-ranking

Zhenzhong Lan, Shoou-I Yu외 1명|arXiv (Cornell University)|2015. 12. 11.

Human Pose and Action Recognition참고 문헌 29인용 수 5

한 줄 요약

이 논문은 인간 활동 인식을 향상시키기 위해 두 가지 랭킹 기반 방법—랭크 정규화(Rank Normalization, RaN)와 다중 클래스 반복 재정렬(Multi-class Iterative Re-ranking, MIR)—을 제안한다. RaN은 페셔 벡터와 VLAD에서 발생하는 희박하고 급격한 분포 문제를 해결하기 위해 특징 값들을 데이터셋 전체에서의 랭크 기반 정규화로 대체한다. 반면 MIR는 추가 학습 없이 상호 클래스 관계를 활용하여 예측을 재정렬함으로써 분류 성능을 향상시킨다. 병합된 접근 방식은 할리우드2에서 71.4%의 정확도와 올림픽 스포츠에서 93.6%의 정확도를 기록하며 여섯 개의 실세계 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

We propose two well-motivated ranking-based methods to enhance the performance of current state-of-the-art human activity recognition systems. First, as an improvement over the classic power normalization method, we propose a parameter-free ranking technique called rank normalization (RaN). RaN normalizes each dimension of the video features to address the sparse and bursty distribution problems of Fisher Vectors and VLAD. Second, inspired by curriculum learning, we introduce a training-free re-ranking technique called multi-class iterative re-ranking (MIR). MIR captures relationships among action classes by separating easy and typical videos from difficult ones and re-ranking the prediction scores of classifiers accordingly. We demonstrate that our methods significantly improve the performance of state-of-the-art motion features on six real-world datasets.

연구 동기 및 목표

• 비디오 표현에서 정확한 유사도 측정을 방해하는 페셔 벡터와 VLAD에서의 희박하고 급격한 분포 문제를 해결한다.
• 수동적이고 하이퍼파라미터에 민감한 파워 정규화(Power Normalization, PN)의 한계를 보완하기 위해, 매개변수 없고 이론적으로 타당한 대안을 제안한다.
• 추가 학습 없이 교차 클래스 관계를 모델링하여 분류 성능을 향상시킨다.
• 다른 동작 클래스의 예측을 활용하여 쉬운 샘플과 어려운 샘플을 식별하고 재가중하는 학습 없이 재정렬 전략을 개발한다.
• 다양한 벤치마크, 특히 활동 인식 및 멀티미디어 이벤트 탐지 작업에서 제안된 방법의 효과성을 입증한다.

제안 방법

• 매개변수 없이 각 특징 차원의 값을 데이터셋 전체에서의 랭크로 대체하는 파라미터 없는 기법인 랭크 정규화(Rank Normalization, RaN)를 제안한다. 이는 희박하고 급격한 분포를 효과적으로 완화한다.
• RaN을 페셔 벡터와 VLAD 표현에 적용하여, 파워 정규화 대신 랭크 기반 정규화를 사용함으로써 정규화의 강건성과 일반화 능력을 향상시킨다.
• 학습 없이 다른 분류기의 예측을 활용하여 샘플의 어려움을 추정하고 예측을 재정렬하는 학습 없는 기법인 다중 클래스 반복 재정렬(Multi-class Iterative Re-ranking, MIR)을 도입한다.
• MIR에서는 쉬운 영상과 일반적인 영상이 강화되고 어려운 샘플은 억제되며, 이는 상호 클래스 예측 관계를 활용하여 커리큘럼 학습 원리를 모방한다.
• 각 분류기의 출력이 다른 클래스의 예측 재가중에 영향을 주는 반복적인 재정렬 프로세스를 구현함으로써 전체 랭킹 품질을 향상시킨다.
• RaN과 MIR를 통합된 파이프라인으로 조합하여 특징 인코딩과 분류기 출력 양쪽 모두를 향상시키며, 이는 IDT, 페셔 벡터, SVM 기반 시스템에 적용된다.

실험 결과

연구 질문

• RQ1 매개변수 없는 랭크 기반 정규화 기법이 페셔 벡터와 VLAD에서 희박하고 급격한 분포 문제를 파워 정규화보다 효과적으로 완화할 수 있는가?
• RQ2 상호 클래스 예측 관계를 기반으로 한 학습 없는 재정렬 전략이 활동 인식 성능 향상에 얼마나 효과적인가?
• RQ3 RaN과 MIR는 높은 시각적 다양성을 지닌 다양한 실세계 인간 활동 인식 데이터셋에서 얼마나 성능을 향상시키는가?
• RQ4 RaN과 MIR의 조합은 활동 인식 및 멀티미디어 이벤트 탐지와 같은 다양한 작업에서 일관된 성능 향상을 이끌어내는가?
• RQ5 기본 성능이 낮을 경우 MIR는 어떤 조건에서 실패하거나 성능이 열등해지는가?

주요 결과

• RaN는 초모수 조정이 필요 없이도 희박하고 급격한 비디오 표현을 정규화함으로써 여섯 개의 실세계 데이터셋에서 성능을 크게 향상시킨다.
• 할리우드2 데이터셋에서 RaN과 MIR의 조합은 71.4%의 정확도를 기록하며 이전 최고 성능(SOTA)을 뚜렷이 뛰어넘는다.
• 올림픽 스포츠 데이터셋에서는 조합된 방법이 93.6%의 정확도를 달성하여 새로운 최고 성능 기록을 수립한다.
• 멀티미디어 이벤트 탐지(MED) 작업에서는 EK100에서 약 4%, EK10에서 약 3%의 mAP 향상을 기록하여 어려운 복잡한 이벤트 탐지 작업에서의 강건성을 입증한다.
• MIR는 기본 성능가 상당히 높을 때 가장 잘 작동하며, 성능이 낮은 설정에서는 정확도가 떨어지는 커리큘럼 추정으로 인해 성능이 열등해진다.
• RaN는 MEDTEST13과 MEDTEST14를 포함한 모든 데이터셋에서 일관되게 성능 향상을 보이며, mAP 향상 폭이 3.2~4.3 포인트에 이르며 일반화 능력을 확인한다.