[논문 리뷰] Structured Label Inference for Visual Understanding

Nelson Nauata, Hexiang Hu외 4명|arXiv (Cornell University)|2018. 02. 18.

Human Pose and Action Recognition참고 문헌 27인용 수 6

한 줄 요약

이 논문은 시각적 이해 작업에서 계층적이고 상관관계가 있는 레이블 관계를 모델링하기 위해 이중성 및 구조적 추론 신경망(Bidirectional and Structured Inference Neural Networks, BINN/SINN)을 사용하는 그래프 기반의 구조적 추론 프레임워크를 제안한다. LSTM 확장 기반의 레이블 공간 의존성과 시간 동적 모델링을 통합함으로써, 다중 레이블 이미지 및 영상 분류, 행동 탐지에서 유의미한 성능 향상을 달성하였으며, THUMOS에서 최대 43.9%의 mAP와 MultiTHUMOS에서 31.5%의 mAP를 기록하여 강력한 기준 모델을 능가한다.

ABSTRACT

Visual data such as images and videos contain a rich source of structured semantic labels as well as a wide range of interacting components. Visual content could be assigned with fine-grained labels describing major components, coarse-grained labels depicting high level abstractions, or a set of labels revealing attributes. Such categorization over different, interacting layers of labels evinces the potential for a graph-based encoding of label information. In this paper, we exploit this rich structure for performing graph-based inference in label space for a number of tasks: multi-label image and video classification and action detection in untrimmed videos. We consider the use of the Bidirectional Inference Neural Network (BINN) and Structured Inference Neural Network (SINN) for performing graph-based inference in label space and propose a Long Short-Term Memory (LSTM) based extension for exploiting activity progression on untrimmed videos. The methods were evaluated on (i) the Animal with Attributes (AwA), Scene Understanding (SUN) and NUS-WIDE datasets for multi-label image classification, (ii) the first two releases of the YouTube-8M large scale dataset for multi-label video classification, and (iii) the THUMOS'14 and MultiTHUMOS video datasets for action detection. Our results demonstrate the effectiveness of structured label inference in these challenging tasks, achieving significant improvements against baselines.

연구 동기 및 목표

• 독립된 레이블 가정을 초월하여 복잡한 계층적 레이블 관계를 모델링함으로써 다중 레이블 이미지 및 영상 분류 성능을 향상시키는 것.
• 부분적으로 관측된 레이블 문제를 해결하기 위해 구조적 레이블 의존성을 활용하여 누락된 레이블을 정확하게 추론할 수 있도록 하는 것.
• 정적 레이블 추론을 트림되지 않은 영상에 확장하기 위해 LSTM 기반의 구조적 추론 프레임워크를 도입하여 행동의 시간적 진행을 모델링하는 것.
• AwA, SUN, NUS-WIDE, YouTube-8M, THUMOS, MultiTHUMOS를 포함한 다양한 벤치마크에서 일관된 성능 향상을 입증하는 것.

제안 방법

• 노드가 의미적 레이블을 나타내고, 간선이 계층적 및 동시 발생하는 관계를 표현하는 레이블 관계 그래프를 사용하여, 레이블 간 이중성 정보 흐름을 가능하게 한다.
• 레이블 노드 간 활성화를 전파하기 위해 구조적 추론 신경망(SINN)을 활용하며, 거칠기에서부터 세밀한 레이블로 향하는 층별 연결성을 통해 예측을 정밀하게 보정한다.
• 구조적 레이블 정보를 은닉 상태에 통합하여 시간적 진행을 모델링하는 LSTM 기반 확장(siLSTM)을 도입한다.
• 레이블 시퀀스의 정방향 및 역방향 시간적 의존성을 모두 캡처하기 위해 이중성 추론(biLSTM)을 적용하여 행동 탐지 성능을 향상시킨다.
• WordNet을 활용하여 수동 설계 없이도 자동으로 레이블 그래프를 구축할 수 있도록 하여, 제로샷 또는 피카샷 레이블 추론을 가능하게 한다.
• 시간선 시각화 및 평가를 위해 임계값 0.5를 사용하며, 표준 행동 탐지 지표와 일치시킨다.

실험 결과

연구 질문

• RQ1 그래프 기반의 신경망을 활용한 구조적 레이블 추론이 독립된 레이블 가정을 초월하여 다중 레이블 이미지 분류 성능을 향상시킬 수 있는가?
• RQ2 특히 YouTube-8M와 같은 대규모 영상 데이터셋에서, 부분적으로 관측된 레이블 상황을 다룰 때 구조적 레이블 추론은 얼마나 효과적인가?
• RQ3 LSTM 기반의 구조적 추론을 통한 시간 모델링이 기존 RNN 기반 기준 모델 대비 트림되지 않은 영상에서의 밀도 높은 행동 탐지 성능을 향상시킬 수 있는가?
• RQ4 계층적 레이블 의존성과 시간 역학을 동시에 통합할 경우, 시각적 이해 작업에서 성능 향상에 어느 정도 기여하는가?

주요 결과

• 단일 프레임 SINN 모델은 THUMOS에서 38.2%의 mAP, MultiTHUMOS에서 27.0%의 mAP를 기록하였으며, 단일 프레임 CNN 기준 모델 대비 각각 2.7%, 2.4% 향상되었다.
• LSTM 기반 모델은 THUMOS에서 41.8%의 mAP, MultiTHUMOS에서 30.5%의 mAP를 기록하였으며, CNN 기준 모델 대비 각각 6.3%, 5.9% 향상되었다.
• siLSTM 모델은 THUMOS에서 43.9%의 mAP, MultiTHUMOS에서 31.5%의 mAP를 기록하였으며, LSTM 기준 모델 대비 각각 2.1%, 1.0% 향상되었다.
• LSTM 기준 모델 대비 siLSTM 모델은 각각 THUMOS와 MultiTHUMOS에서 상대적 향상률 2.1%와 1.0%를 기록하였으며, MultiLSTM와의 경쟁력 있는 성능을 보였다.
• 부분적으로 관측된 레이블 설정에서도 높은 안정성을 보이며, 기준 모델 대비 더 높은 신뢰도로 누락된 레이블을 효과적으로 예측하였다.
• 그림 7의 시간선 시각화 결과는 siLSTM이 단일 프레임 또는 표준 LSTM 기준 모델 대비 더 정확하고 시간적으로 일관된 레이블 예측을 생성함을 확인한다.