[논문 리뷰] Neural-Logic Human-Object Interaction Detection

Liulei Li, Jianan Wei외 2명|arXiv (Cornell University)|2023. 11. 16.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

LogicHOI는 고정된 인체-객체 쌍 입력을 삼중항 추론 어텐션으로 대체하는 새로운 Transformer 기반 HOI 검출기이다. 이로 인해 관찰되지 않은 {인간, 동작, 물체} 삼중항에 대한 동적 추론이 가능해진다. 일阶 논리로 소통 가능성과 근접성 관계를 정립하고 이를 연속 공간에 투영함으로써 모델은 제로샷 일반화 성능을 향상시키며, V-COCO 및 HICO-DET에서 최신 기준 성능을 달성한다.

ABSTRACT

The interaction decoder utilized in prevalent Transformer-based HOI detectors typically accepts pre-composed human-object pairs as inputs. Though achieving remarkable performance, such paradigm lacks feasibility and cannot explore novel combinations over entities during decoding. We present L OGIC HOI, a new HOI detector that leverages neural-logic reasoning and Transformer to infer feasible interactions between entities. Specifically, we modify the self-attention mechanism in vanilla Transformer, enabling it to reason over the triplet and constitute novel interactions. Meanwhile, such reasoning process is guided by two crucial properties for understanding HOI: affordances (the potential actions an object can facilitate) and proxemics (the spatial relations between humans and objects). We formulate these two properties in first-order logic and ground them into continuous space to constrain the learning process of our approach, leading to improved performance and zero-shot generalization capabilities. We evaluate L OGIC HOI on V-COCO and HICO-DET under both normal and zero-shot setups, achieving significant improvements over existing methods.

연구 동기 및 목표

• 기존 HOI 검출기가 사전에 구성된 인체-객체 쌍에 의존하여 새로운 조합에 일반화하는 능력이 제한되어 있는 문제를 해결한다.
• 현재 방법들이 상호작용을 고정된 쌍에 대한 정적 예측으로 간주하는 데서 비롯되는 추론 능력의 부족을 극복한다.
• 특히 소통 가능성과 근접성과 같은 상징 지식을 딥 러닝에 통합하여 더 논리적이고 일반화 가능한 상호작용 예측을 유도한다.
• 일阶 논리로 표현된 물리적 및 의미론적 타당성 제약 조건을 통해 예측을 제약함으로써 제로샷 일반화를 가능하게 한다.
• 이전 방법들에 비해 계산 오버헤드를 줄이며 높은 성능를 유지하는 더 효율적이고 효과적인 HOI 검출 프레임워크를 개발한다.

제안 방법

• Transformer 디코더의 자체 어텐션 메커니즘을 수정하여 인간, 동작, 물체로 구성된 삼중항 쿼리에 대해 작동하도록 하여, 세 요소를 동시에 고려한 공동 추론을 가능하게 한다.
• 사전 정의된 쌍이 아닌, 세 구성 요소를 동시에 통합해 정보를 집계하는 삼중항 추론 어텐션을 도입한다.
• 물체가 지원할 수 있는 동작(소통 가능성)과 상호작용의 공간적 타당성(근접성)을 일阶 논리 제약 조건으로 설정한다.
• 이러한 논리 제약 조건을 미분 가능한 함수를 사용해 연속 공간에 매핑하여 트랜스포머 모델의 학습 과정을 이끌어낸다.
• 두 가지 보조 손실을 최적화한다: 시각적-물리적 타당성(근접성)을 위한 $\mathcal{L}_{v,p}$ 와 물체-동작 호환성(소통 가능성)을 위한 $\mathcal{L}_{o,p}$.
• 쿼리 필터링을 적용하고 디코더 레이어와 쿼리 수를 최소화하여 효율성을 유지한다. 이는 증가한 추론 능력에도 불구하고 이전 방법들보다 빠른 추론 속도를 달성한다.

Figure 1 : Left : self-attention aggregates information across pre-composed interaction ( ) queries . Middle : in contrast, our proposed triplet-reasoning attention traverses over human ( ), action ( ), and object ( ) queries to propose plausible interactions. Right : logic-induced affordances and p

실험 결과

연구 질문

• RQ1 학습 데이터에 포함되지 않은 {인간, 동작, 물체} 삼중항에 대해, 트랜스포머 기반 HOI 검출기가 제로샷 일반화를 수행할 수 있는가?
• RQ2 소통 가능성과 근접성과 같은 상징 지식을 신경망에 효과적으로 통합하여 추론 능력과 제로샷 일반화 성능를 향상시킬 수 있는가?
• RQ3 쌍이 아닌 삼중항을 대상으로 어텐션 메커니즘을 수정함으로써 성능 향상과 더 나은 해석 가능성 예측이 가능할까?
• RQ4 논리 기반 제약 조건이 모델이 허위 상관관계에 의존하는 것을 줄이고 드문 또는 관찰되지 않은 상호작용에 대해 더 강건하게 만들 수 있는가?
• RQ5 신경 아키텍처에 상징 추론을 통합할 때 모델 복잡도, 추론 속도, 성능 간의 상충 관계는 어떠한가?

주요 결과

• LogicHOI는 HICO-DET 전체 세트에서 25.97 mAP의 새로운 최고 성능를 기록하였으며, 이는 이전 최고 기록보다 1.96 포인트 향상된 것이다.
• HICO-DET의 희귀 카테고리 분할에서 LogicHOI는 15.67 mAP를 달성하여 이전 최고 기록보다 2.41 포인트 향상되었으며, 강력한 제로샷 일반화 능력을 입증한다.
• 절단 분석 결과, $\mathcal{L}_{v,p}$ (근접성)와 $\mathcal{L}_{o,p}$ (소통 가능성) 모두 성능 향상에 기여하며, 특히 제로샷 설정에서 두드러진다.
• 모델은 높은 효율성을 유지한다: ResNet-50 백본을 사용할 때 디코더 레이어 3개와 쿼리 32개로 16.84 FPS를 달성하여 대부분의 일단계 검출기보다 빠른 속도와 FLOPs를 확보한다.
• 쿼리 수를 32개 초과로 늘일수록 성능이 악화되며, 표현 능력과 최적화 안정성 간의 최적 균형이 있음을 시사한다.
• 논리 기반 학습 통합으로 인해 수렴 속도가 빨라지고 더 타당한 예측이 가능해졌으며, 이는 추론 도중 물리적으로 비현실적인 상호작용을 거부할 수 있다는 점에서 입증된다.

Figure 2 : Overview of LogicHOI . We first retrieve human, action, and object queries by $\mathcal{D}^{h}$ , $\mathcal{D}^{a}$ , and $\mathcal{D}^{o}$ , respectively. Then $\mathcal{D}^{p}$ take them as input, reasoning over entities and combining potential interaction triplets. Finally, such proces