[論文レビュー] Hazard-Aware Traffic Scene Graph Generation

Yaoqi Huang, Julie Stephany Berrio+2 more|arXiv (Cornell University)|Mar 3, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

論文は Hazard-Aware Traffic Scene Graph Generation（HATS）を提案し、交通事故データから視覚・幾何・意味・知識グラフ priors を統合して、ego車両に対して顕著な危険を識別・分類するエゴ中心の交通シーングラフを構築します。

ABSTRACT

Maintaining situational awareness in complex driving scenarios is challenging. It requires continuously prioritizing attention among extensive scene entities and understanding how prominent hazards might affect the ego vehicle. While existing studies excel at detecting specific semantic categories and visually salient regions, they lack the ability to assess safety-relevance. Meanwhile, the generic spatial predicates either for foreground objects only or for all scene entities modeled by existing scene graphs are inadequate for driving scenarios. To bridge this gap, we introduce a novel task, Traffic Scene Graph Generation, which captures traffic-specific relations between prominent hazards and the ego vehicle. We propose a novel framework that explicitly uses traffic accident data and depth cues to supplement visual features and semantic information for reasoning. The output traffic scene graphs provide intuitive guidelines that stress prominent hazards by color-coding their severity and notating their effect mechanism and relative location to the ego vehicle. We create relational annotations on Cityscapes dataset and evaluate our model on 10 tasks from 5 perspectives. The results in comparative experiments and ablation studies demonstrate our capacity in ego-centric reasoning for hazard-aware traffic scene understanding.

研究の動機と目的

• Generic なシーン理解を超えて注意に値する危険を特定して運転安全性を動機付ける。
• エゴ車両へ特有の関係を強調するエゴ中心のシーングラフフレームワークを開発する。
• 外部の交通事故知識を活用して危険の深刻度と相互作用機構の推論を導く。
• 色分けされた深刻度と明確な相互作用表記を伴う解釈可能で危険優先の出力を提供する。

提案手法

• ERES（EGO-path Related Entities Selection）を導入し、クロスアテンションを介してエゴ経路に関連するエンティティをフィルタリングする。
• NHTSAの衝突データから四段階パイプラインでTraffic Accident Knowledge Graph（KG）を構築し、修飾子を考慮したトランスフォーマー-basedスコアリングでKG埋め込み（KGE）を実行する。
• 複数モーダルの手掛かり（RGB、視差、意味情報、幾何）とKG priorsを Traffic Scene Graph Generation（TSGG）モジュールで統合し、機構・側方・深刻度の関係を推定する。
• エゴ車両に対して色分けされた深刻度と個々のエンティティ間の相互作用注記を伴う危険 aware な Traffic Scene Graphs（TSGs）を Produce する。

実験結果

リサーチクエスチョン

• RQ1 エゴ中心の推論をどのように強化して交通シーンの危険を特定・優先付けできるか？
• RQ2 外部の交通事故知識をシーングラフ推論に効果的に組み込み、危険の解釈を改善できるか？
• RQ3 深度手掛かりと経路認識フィルタリングが交通シーングラフ生成の品質に及ぼす影響は？
• RQ4 提案フレームワークはベースラインと比較して危険のランク付けと相互作用機構の予測をどれだけ改善するか？

主な発見

• KGEモジュールは1ホップおよび3ホップのメッセージパッシングで、オブジェクト予測・主語予測・トリプレット予測タスクの高い予測精度を示す（例：Object Predictionの1-hopでMRR 88.04、H@1 79.81）。
• 危険性の優先付けはCFHPを大幅に上回り、MAP@K、MRR@K、NDCG@Kが改善（例：Table IIIのOUR法はK=3でMAP@K 54.87、MRR@K 78.33、NDCG@K 64.19）。
• ERESは下流の関係予測を経路関連エンティティに絞り、SGDet設定で危険-aware述語ランキングを改善。
• KGと深刻度指向のアテンションを通じた事故 priors の統合は、純粋なビジョンベースのベースラインより危険 ranking と解釈性を向上させる。
• アブレーション研究は、貢献を定量化するためにERES、KGE priors、深度手掛かりを除去することで危険優先付けと相互作用推論への影響を示唆する。