[논문 리뷰] HAKE: A Knowledge Engine Foundation for Human Activity Understanding

Yong–Lu Li, Xinpeng Liu외 7명|arXiv (Cornell University)|2022. 02. 14.

Context-Aware Activity Recognition Systems인용 수 9

한 줄 요약

HAKE는 이미지에서 원자적 활동 원소를 탐지한 후 해석 가능한 논리 규칙을 사용해 고수준 의미를 추론하는 이단계 신경기호적 프레임워크를 제안한다. 2600만 개 이상의 원소 레이블과 규칙을 포함한 대규모 지식 기반을 활용함으로써 HAKE는 기준 방법에 비해 벤치마크 데이터셋에서 뛰어난 일반화 능력과 성능을 달성하며, 흐린, 산만한 활동 패턴을 인식하는 데 있어 향상된 내구성을 입증한다.

ABSTRACT

Human activity understanding is of widespread interest in artificial intelligence and spans diverse applications like health care and behavior analysis. Although there have been advances in deep learning, it remains challenging. The object recognition-like solutions usually try to map pixels to semantics directly, but activity patterns are much different from object patterns, thus hindering success. In this work, we propose a novel paradigm to reformulate this task in two stages: first mapping pixels to an intermediate space spanned by atomic activity primitives, then programming detected primitives with interpretable logic rules to infer semantics. To afford a representative primitive space, we build a knowledge base including 26+ M primitive labels and logic rules from human priors or automatic discovering. Our framework, the Human Activity Knowledge Engine (HAKE), exhibits superior generalization ability and performance upon canonical methods on challenging benchmarks. Code and data are available at http://hake-mvig.cn/.

연구 동기 및 목표

• 저조도 밀도로 인해 직접 픽셀-세분적 매핑이 실패하는 복잡하고 혼잡한 장면에서 인간 활동 이해의 과제를 해결하기 위해.
• 활동 인식을 두 단계 과정으로 재정의하기 위해: 원소 탐지 → 논리 기반 추론.
• 일반화를 위해 인간과 기계가 발견한 활동 원소 및 논리 규칙을 포함한 종합적인 지식 기반을 구축하기 위해.
• 전체 이미지 의미가 아닌 희박한, 의미 있는 시각적 단서에 집중하여 벤치마크에서의 일반화 능력과 성능 향상시키기 위해.
• 활동 인식을 원소 탐지와 조합적 추론으로 모델링하여 인간 인지와 AI 사이의 격차를 메우기 위해.

제안 방법

• 차별가능한 탐지 헤드를 통해 입력 이미지를 원자적 활동 원소의 중간 공간으로 매핑하는 이단계 프레임워크를 도입한다.
• 인간의 참여와 자동 탐지 방식을 통해 수집한 2600만 개 이상의 원소 레이블을 활용해 희박하고 대표적인 원소 공간을 정의한다.
• 검출된 원소를 명시적이고 해석 가능한 논리 규칙(예: 부울 조합)을 사용해 프ogramming하는 신경기호적 추론 엔진을 활용한다.
• 기호적 규칙를 통해 역전파가 가능한 차별가능한 추론 모듈을 적용하여 엔드 투 엔드 학습을 가능하게 한다.
• 활동 인식 대비 물체 인식에서의 의미적 총합 비율을 수량화하기 위해 의미적 커버리지 비율(SCR)을 지표로 사용한다.
• 인간과 HAKE가 생성한 마스킹 영역을 사용해 중요 의미 영역 국소화의 품질을 평가하고 비교한다.

실험 결과

연구 질문

• RQ1 원소 탐지 후 논리 기반 추론을 거치는 이단계 파라다임이 직접 픽셀-세분적 매핑보다 인간 활동 이해에서 더 우수한 성능을 낼 수 있는가?
• RQ2 활동 이미지의 의미적 콘텐츠 희박성(SCR로 측정)이 엔드 투 엔드 딥 러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ3 원자적 활동 원소와 논리 규칙로 구성된 지식 기반은 제로샷 또는 피кс샷 설정에서 일반화 능력과 내구성을 얼마나 향상시킬 수 있는가?
• RQ4 HAKE가 생성한 중요 영역 마스크는 인간 레이블링 마스크에 비해 의미적 관련성과 커버리지 측면에서 어떻게 비교되는가?
• RQ5 해석 가능한 논리 규칙을 사용한 신경기호적 추론은 인간처럼 조합적 일반화를 모델링할 수 있는가?

주요 결과

• HAKE는 기준 방법에 비해 도전적인 벤치마크에서 뛰어난 성능을 달성하며, 직접 매핑 접근 방식보다 훨씬 높은 수준에서 성능 포화가 발생한다.
• 활동 이미지의 평균 의미적 커버리지 비율(SCR)은 12.2%에 불과하여 물체 이미지의 61.0%에 비해 상당히 낮으며, 이는 새로운 접근 방식의 필요성을 정당화한다.
• 인간 참가자들은 '피자 먹기' 활동에 대해 평균 15.3%의 영역만 마스킹하며, 이는 활동 인식이 희박하고 명백하지 않은 단서에 의존함을 시사한다.
• 인간 분류 테스트에서 참가자들은 HAKE가 생성한 마스크와 인간 마스크를 59.55%의 정확도로만 구별할 수 있었으며, 이는 강력한 의미적 일치를 의미한다.
• HAKE는 인간이 자주 간과하는 간접적이지만 중요한 신체 부위(예: '스케이트보드 점프'에서 팔과 엉덩이)를 탐지하는 '추상적' 능력을 보인다.
• 혼란스러운 장면(예: 동시에 여러 행동이 발생하는 경우)에서 인간이 오직 물체만 마스킹하고 상호작용 의미를 상실하는 것과는 달리, HAKE는 더 많은 조합적 의미를 유지한다.