[논문 리뷰] GenLie: A Global-Enhanced Lie Detection Network under Sparsity and Semantic Interference

Z. H. Zhang, Yao Liu외 6명|arXiv (Cornell University)|2026. 03. 14.

Deception detection and forensic psychology인용 수 0

한 줄 요약

GenLie는 로컬–글로벌 프레임워크를 통해 희소하고 식별 관련 노이즈를 적대적 상관관계 제거와 트리플렛 손실로 차별적으로 학습하며, 세 가지 벤치마크에서 최첨단 결과를 달성하는 비디오 기반 거짓 탐지 방법이다.

ABSTRACT

Video-based lie detection aims to identify deceptive behaviors from visual cues. Despite recent progress, its core challenge lies in learning sparse yet discriminative representations. Deceptive signals are typically subtle and short-lived, easily overwhelmed by redundant information, while individual and contextual variations introduce strong identity-related noise. To address this issue, we propose GenLie, a Global-Enhanced Lie Detection Network that performs local feature modeling under global supervision. Specifically, sparse and subtle deceptive cues are captured at the local level, while global supervision and optimization ensure robust and discriminative representations by suppressing identity-related noise. Experiments on three public datasets, covering both high- and low-stakes scenarios, show that GenLie consistently outperforms state-of-the-art methods. Source code is available at https://github.com/AliasDictusZ1/GenLie.

연구 동기 및 목표

• 비디오에서 미묘하고 희소한 시각적 단서로부터 강건한 거짓 탐지를 필요로 한다는 점을 동기화한다.
• 신원 및 맥락 노이즈를 줄이면서 희소한 단서를 추출하기 위한 로컬–글로벌 모델링 전략을 제안한다.
• 중복 인식을 고려한 샘플링, 작업 주도 재임베딩, 적대적 상관분리, 그리고 구별 손실을 포함하는 엔드투엔드 프레임워크를 개발한다.
• 저위험 및 고위험 속임수 데이터셋 모두에서 최첨단 성능을 입증한다.

제안 방법

• 비디오를 등길이 클립으로 분할하고 각 세그먼트에서 상위-K 개의 정보 프레임을 선택하여 중복성을 억제한다.
• 고정된 VideoMAEv2 인코더를 사용하여 세그먼트 수준 특징을 추출하고 경량 MLP를 통해 글로벌 비디오 임베딩을 얻는다.
• GRL 기반 보조 분류기를 통해 신원 불변 표현을 생성하도록 적대적 화자 디코릴레이션을 적용한다.
• 비디오 레벨 트립렛 손실을 도입하여 클래스 간 간격을 강화하고 클래스 내 응집성을 촉진한다.
• 판별성과 편향 제거의 균형을 맞추기 위해 L_total = L_cls + alpha L_id + beta L_tri의 결합 목표로 학습한다.

Fig. 1 : Core challenge in video-based lie detection: subtle and transient cues are often overwhelmed by noise and contextual bias.

실험 결과

연구 질문

• RQ1 로컬–글로벌 모델링 접근법이 비디오 속임수 탐지에서 희소한 속임수 단서를 효과적으로 포착하면서 신원 관련 노이즈를 완화할 수 있는가?
• RQ2 적대적 화자 디코럴레이션이 속임수 판별성을 손상시키지 않으면서 화자 간 일반화를 향상시키는가?
• RQ3 비디오-레벨 트리플렛 손실이 속임수 라벨과 화자 간의 더 구분 가능한 임베딩 공간을 형성하는 데 도움이 되는가?
• RQ4 다양한 단서의 민감도에 따라 어떤 프레임 선택 전략이 데이터셋 전반에서 가장 강건한 성능을 보이는가?

주요 결과

방법	MDPE_F1	MDPE_ACC	MDPE_AUC	Real-Life Trial_F1	Real-Life Trial_ACC	Real-Life Trial_AUC	SEUMLD_F1	SEUMLD_ACC	SEUMLD_AUC
GenLie	38.97	63.01	59.91	93.44	93.39	98.96	42.39	64.17	59.15
w/o TS	24.95	60.10	53.49	38.59	57.95	51.92	40.85	61.29	56.83
w/o F_SR	18.10	60.62	58.10	35.84	60.36	55.03	n/a	n/a	n/a
w/o L_id	34.06	62.28	59.78	36.79	57.06	53.55	n/a	n/a	n/a
w/o L_tri	25.73	62.90	58.07	40.85	61.29	56.83	n/a	n/a	n/a

• GenLie는 세 가지 속임수 벤치마크(MDPE, Real-Life Trial, SEUMLD)에서 최첨단 성능을 달성한다.
• 분해 실험에서 의미 재임베딩이 성능에 결정적이며, Real-Life Trial에서 화자 디코럴레이션이 특히 기여한다.
• 균일한 프레임 샘플링이 휴리스틱 샘플링 전략에 비해 견고한 성능을 제공한다.
• 시간적 세그먼트화가 희소 단서를 보존하는 데 도움이 되며 트리플렛 손실이 판별력을 강화한다.
• GenLie는 저위험 및 고위험 설정에서 모두 우수한 일반화 성능을 보여 신원 간 일반화가 강하다.

Fig. 2 : Architecture of the proposed GenLie framework.