[論文レビュー] Learnability-Driven Submodular Optimization for Active Roadside 3D Detection

Ruiyu Mao, Baoming Zhang+2 more|arXiv (Cornell University)|Jan 4, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

この論文は LH3D を提案する。深度信頼性、意味的バランス、幾何的変動性を用いた concave-over-modular サブモジュラ目的関数で inherently ambiguous なサンプルを抑制する、 monocular 路側の 3D 検出向けの learnability-driv en active learning フレームワーク。

ABSTRACT

Roadside perception datasets are typically constructed via cooperative labeling between synchronized vehicle and roadside frame pairs. However, real deployment often requires annotation of roadside-only data due to hardware and privacy constraints. Even human experts struggle to produce accurate labels without vehicle-side data (image, LIDAR), which not only increases annotation difficulty and cost, but also reveals a fundamental learnability problem: many roadside-only scenes contain distant, blurred, or occluded objects whose 3D properties are ambiguous from a single view and can only be reliably annotated by cross-checking paired vehicle--roadside frames. We refer to such cases as inherently ambiguous samples. To reduce wasted annotation effort on inherently ambiguous samples while still obtaining high-performing models, we turn to active learning. This work focuses on active learning for roadside monocular 3D object detection and proposes a learnability-driven framework that selects scenes which are both informative and reliably labelable, suppressing inherently ambiguous samples while ensuring coverage. Experiments demonstrate that our method, LH3D, achieves 86.06%, 67.32%, and 78.67% of full-performance for vehicles, pedestrians, and cyclists respectively, using only 25% of the annotation budget on DAIR-V2X-I, significantly outperforming uncertainty-based baselines. This confirms that learnability, not uncertainty, matters for roadside 3D perception.

研究の動機と目的

• 路面脇 BEV 認識における inherent ambiguities を識別し、それらが学習へ与える影響を定量化する。
• 深度信頼性、意味的バランス、幾何的変動性をバランスさせる learnability ベースのアクティブ ラーニング フレームワークを提案する。
• LH3D を開発する。三段階のサブモジュラーセレクタで、効率的かつ保証容量のサンプル選択を実現する。
• learnability を重視したサンプリングが、予算制約下の不確実性ベースのベースラインよりも性能を上回ることを示す。

提案手法

• monocular 深度推定と BEV 投影を用いた lift–splat–style パイプラインで路側 BEV 3D 検出をモデル化する。
• learnability を depth confidence、semantic balance、geometric variation の三要因と定義し、サンプル選択を concave-over-modular サブモジュラ最大化として定式化する。
• 三段階階層選択子を実装する（Stage 1: depth-confident coverage; Stage 2: rare–common class balancing; Stage 3: geometric variation）、三つの concave-over-modular 目的関数の和を最適化する。
• Stage 1 は深度エントロピー H_i を用いて各画像ごとの深度信頼度を計算し、D 深度ビン上の深度カバレージベクターを構築する。 Stage 2 は画像ごとのクラス分布を用いて semantic balance を最大化するための対数和目的を用いる。 Stage 3 は各クラスの BEV ジオメトリをガウスベースの novelty スコアでモデル化し、 geometric variation の対数和目的を適用する。
• 目的が単調サブモジュラであり、(1-1/e) の保証を伴う貪欲最適化に適していることを理論的に正当化する。

Figure 1 : Human study: learnable vs. ambiguous samples. Images are categorized as learnable or ambiguous based on how difficult they are to interpret from a single monocular view. Using this partition (while training only with the dataset’s original ground-truth labels), detectors trained on the am

実験結果

リサーチクエスチョン

• RQ1 単眼路側 BEV 認識における inherent ambiguities を識別し、アクティブラーニングから除外することで learnability を改善できるか。
• RQ2 深度信頼性、意味的バランス、幾何的変動性 は、不確実性ベースまたは多様性ベースの AL 手法より良いサンプル選択を生むか。
• RQ3 LH3D は固定アノテーション予算の下で、異なるバックボーン検出器やデータセットでどのように性能を示すか。
• RQ4 LH3D における Stage の順序が AL の性能に与える影響はどの程度か。
• RQ5 Learnability 主導の選択は、シーン配置や物体分布の変化に対して堅牢か。

主な発見

Backbone	Method	Easy (Vehicle)	Moderate (Vehicle)	Hard (Vehicle)	Easy (Pedestrian)	Moderate (Pedestrian)	Hard (Pedestrian)	Easy (Cyclist)	Moderate (Cyclist)	Hard (Cyclist)	Average (Easy)	Average (Moderate)	Average (Hard)
BEVHeight	RANDOM	61.90	51.37	51.41	13.63	13.23	13.42	30.04	38.70	39.38	35.19	34.43	34.74
BEVHeight	ENTROPY	63.42	54.42	54.51	17.50	16.57	16.72	31.45	36.86	38.57	37.46	36.67	36.53
BEVHeight	UNCERTAINTY	51.77	44.00	42.52	13.28	12.60	12.70	25.72	30.98	31.56	30.26	29.86	28.93
BEVHeight	BGADL	63.91	54.77	54.91	14.97	14.20	14.19	27.39	34.07	35.77	35.42	34.35	34.96
BEVHeight	CORESET	51.43	43.78	42.30	13.86	13.05	13.19	30.12	34.44	35.01	31.80	30.42	30.17
BEVHeight	BADGE	60.08	51.19	51.33	15.70	14.88	14.98	27.10	34.77	35.35	34.29	33.61	33.89
BEVHeight	PPAL	60.20	51.38	51.44	19.09	18.47	18.07	34.41	39.13	39.71	37.90	36.33	36.41
BEVHeight	HUA	60.18	51.37	51.48	13.98	13.23	13.33	30.65	33.84	34.48	34.94	32.81	33.10
BEVHeight	LH3D (Ours)	65.36	56.00	56.03	18.51	17.50	17.67	32.44	41.49	41.79	38.77	38.33	38.50
BEVSpread	RANDOM	54.00	54.55	47.51	14.21	13.96	13.09	21.20	32.70	32.81	29.80	33.74	31.14
BEVSpread	ENTROPY	59.37	50.66	50.80	14.35	13.54	13.67	24.37	33.10	33.56	32.70	32.43	32.68
BEVSpread	BGADL	54.14	48.43	48.44	15.74	15.05	14.22	24.89	32.09	32.72	31.59	31.86	31.79
BEVSpread	BADGE	57.54	48.92	47.51	13.38	13.04	13.27	27.68	35.74	36.16	32.87	32.57	32.31
BEVSpread	PPAL	62.80	50.18	50.29	15.69	15.85	15.09	31.46	35.87	35.39	36.65	33.97	33.59
BEVSpread	HUA	58.97	49.44	49.54	16.01	15.75	15.82	29.87	30.30	30.77	34.95	31.83	32.04
BEVSpread	LH3D (Ours)	63.16	52.45	52.53	17.63	17.17	17.40	31.77	37.59	38.28	37.52	35.74	36.07
BEVDet	RANDOM	56.89	48.46	48.53	14.68	14.13	14.12	21.73	29.73	29.02	31.00	31.41	31.56
BEVDet	ENTROPY	57.55	48.41	48.40	15.83	13.82	12.98	21.97	32.76	31.75	31.78	31.66	31.04
BEVDet	BGADL	55.23	47.68	47.63	14.75	14.04	14.16	23.23	29.61	29.56	31.07	30.44	30.45
BEVDet	CORESET	54.26	46.65	46.61	14.87	14.53	14.59	21.08	26.03	26.04	30.07	29.07	29.08
BEVDet	BADGE	56.64	49.17	49.23	14.47	13.82	13.95	20.87	30.40	29.63	30.66	31.13	30.94
BEVDet	PPAL	56.99	49.61	49.62	15.57	14.78	14.23	22.99	33.37	33.98	31.85	32.59	32.61
BEVDet	HUA	57.95	48.84	48.37	15.12	14.64	14.66	21.46	31.46	31.80	31.51	31.65	31.61
BEVDet	LH3D (Ours)	58.98	48.67	48.77	15.83	14.97	15.06	23.09	34.63	35.20	32.63	32.76	33.01

• LH3D は DAIR-V2X-I および Rope3D の固定予算下で不確実性ベースのベースライン（例：ENTROPY、BADGE、PPAL、HUA）を一貫して上回る。
• BEVHeight をバックボーンとする場合、LH3D は Easy、Moderate、Hard 設定で PPAL に対して平均 3D AP 増分をそれぞれ 0.87%、2.00%、2.19% 獲得。
• LH3D は Vehicle および Pedestrian の検出でより大きな改善を示し、Cyclist の性能も競争力を維持しつつ早期の gains が大きく、収束が滑らか。
• 人間の研究では、 ambiguous なサンプルから学習する場合、 learnable なサンプルより Vehicle および Pedestrian の AP が低くなることを示し、learnability 重視が不確実性より有効であることを検証。
• DC–SB–GV（Depth Confidence、Semantic Balance、Geometric Variation）順序が全 permutations より優れており、深度信頼性の優先を確認。

Figure 2 : Left: Our learnability-driven active learning pipeline for roadside BEV 3D detection. Right: The proposed LH3D three-stage selector—depth confidence, semantic balance, and geometric variation— which selects images that are both reliably learnable and informative for monocular roadside per