[논문 리뷰] Before Smelling the Video: A Two-Stage Pipeline for Interpretable Video-to-Scent Plans

Kaicheng Wang, Keyong Shao외 3명|arXiv (Cornell University)|2026. 01. 27.

Olfactory and Sensory Function Studies인용 수 0

한 줄 요약

이 논문은 시각–언어 모델을 사용해 시각적 의미를 추출하고 대형 언어 모델을 이용해 구조화된 향(향기) 계획을 생성하는 두 단계 비디오-향 계획 파이프라인을 제시한 뒤, 시스템이 생성한 계획이 기준선보다 선호되는 사용자 연구를 보고한다.

ABSTRACT

Olfactory cues can enhance immersion in interactive media, yet smell remains rare because it is difficult to author and synchronize with dynamic video. Prior olfactory interfaces rely on designer triggers and fixed event-to-odor mappings that do not scale to unconstrained content. This work examines whether semantic planning for smell is intelligible to people before physical scent delivery. We present a video-to-scent planning pipeline that separates visual semantic extraction using a vision-language model from semantic-to-olfactory inference using a large language model. Two survey studies compare system-generated scent plans with over-inclusive and naive baselines. Results show consistent preference for plans that prioritize perceptually salient cues and align scent changes with visible actions, supporting semantic planning as a foundation for future olfactory media systems.

연구 동기 및 목표

• 의미 추출과 후각 추정의 분리를 통해 비디오에 대한 후각 보강의 동기를 제시한다.
• 실제 향기 전달 전 사람들에게 의미 있는 향기 계획이 이해될 수 있는지 조사한다.
• 시스템이 생성한 향기 계획이 관련성 및 시간적 일관성에 대한 인간 기대와 얼마나 정합하는지 평가한다.

제안 방법

• Stage 1은 비전–언어 모델(Gemini 3 Pro)을 사용하여 샘플링된 비디오 프레임에서 시간 정렬된 시각적 의미를 추출한다.
• Stage 2는 대형 언어 모델(GPT-5.2)을 사용하여 시각적 타임라인을 고정된 냄새 스키마 아래 구조화된 향 계획으로 변환한다.
• 출력은 물리적 향 생성이 아닌 향후 후각 인터페이스를 위한 시간적으로 구성된 향 계획이다.
• 두 가지 온라인 설문 연구가 시스템 생성 향 계획을 과포함 기반선(over-inclusive baseline)과 순진한 기반선(naive baseline)과 비교한다.
• 참여자들은 지각된 후각 관련성, 시간적 일관성, 몰입감, 그리고 비디오 진행과의 일관성을 평가했다.

Figure 1. We introduce a two-stage video-to-scent planning pipeline that translates visual events in video into structured, human-interpretable scent plans, without generating physical scents. (A) A vision–language model (Gemini 3 Pro) processes uniformly sampled video frames to extract time-aligned

실험 결과

연구 질문

• RQ1 RQ1: 계산 시스템이 생성한 향 계획이 사용자가 시간적으로 일관되고 동적 비디오 콘텐츠와 정합되었다고 지각하게 얼마나 잘 만들어질 수 있는가?
• RQ2 RQ2: 비디오 시청 경험의 일부로 상상될 때 시스템이 생성한 향 계획이 그럴듯하고 방해가 되지 않는다고 인식되는가?

주요 결과

• 연구 1에서 시스템 생성 계획의 평균 순위가 과포함 기반선(1.871)과 순진한 기반선(2.543)보다 낮은 것으로 나타났으며, 평균 순위는 1.586이었다.
• 시스템 계획은 실험의 54.3%에서 1위로 평가되어 두 기준선을 능가했다.
• 프리드먼 검정은 조건 간 합산 순위에 유의한 차이를 보였으며 (χ²=19.36, p=6.26×10⁻⁵).
• 대응 검정에서 System > Over 및 System > Naive를 보였고, Over > Naive 이었다.
• 정성적 응답은 참가자들이 모든 보이는 요소를 망라하기보다 지배적인 후각 원천에 집중하고, 행동 순간과 함께 향 변화의 타이밍을 강조하는 경향을 보였다.
• 연구 2는 참가자들이 몰입도, 일관성, 주의 산만 감소 측면에서 과포함 기반선보다 시스템 생성 계획을 선호했으며, 타이밍과 진화가 적절하다고 서술되었고, 우려는 향상 개념이 아닌 서술적 선택에 초점을 맞췄다.