[논문 리뷰] Towards Real-world Lens Active Alignment with Unlabeled Data via Domain Adaptation

Wenyong Lia, Qi Jiang외 6명|arXiv (Cornell University)|2026. 01. 07.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

DA3는 시뮬레이션 데이터를 소량의 라벨링되지 않은 실제 세계 이미지와 결합하여 활성 렌즈 정렬의 도메인 간 차이를 줄이고, 최소한의 디바이스 내 데이터 수집으로 높은 정확도를 달성합니다.

ABSTRACT

Active Alignment (AA) is a key technology for the large-scale automated assembly of high-precision optical systems. Compared with labor-intensive per-model on-device calibration, a digital-twin pipeline built on optical simulation offers a substantial advantage in generating large-scale labeled data. However, complex imaging conditions induce a domain gap between simulation and real-world images, limiting the generalization of simulation-trained models. To address this, we propose augmenting a simulation baseline with minimal unlabeled real-world images captured at random misalignment positions, mitigating the gap from a domain adaptation perspective. We introduce Domain Adaptive Active Alignment (DA3), which utilizes an autoregressive domain transformation generator and an adversarial-based feature alignment strategy to distill real-world domain information via self-supervised learning. This enables the extraction of domain-invariant image degradation features to facilitate robust misalignment prediction. Experiments on two lens types reveal that DA3 improves accuracy by 46% over a purely simulation pipeline. Notably, it approaches the performance achieved with precisely labeled real-world data collected on 3 lens samples, while reducing on-device data collection time by 98.7%. The results demonstrate that domain adaptation effectively endows simulation-trained models with robust real-world performance, validating the digital-twin pipeline as a practical solution to significantly enhance the efficiency of large-scale optical assembly.

연구 동기 및 목표

• 고정밀 렌즈에서 시뮬레이션을 활용하고 최소한의 라벨링되지 않은 실제 세계 데이터를 활용하여 활성 정렬(AA)의 데이터 수집 비용을 줄인다.
• 도메인 적응을 통해 시뮬레이션과 실제 세계의 이미징 스타일 간의 도메인 간 격차를 해소한다.
• 정확한 오정렬 예측을 위한 도메인 불변 특징을 학습하는 강건한 파이프라인을 개발한다.
• 실제 세계 보안 렌즈와 시뮬레이션된 스마트폰 렌즈에서 데이터 효율적인 AA를 시연한다.

제안 방법

• 고정밀 광학 시뮬레이션에서 공차Variation를 갖는 라벨링된 소스 데이터셋을 구성한다.
• 무작위 오정렬 위치에서 최소한의 라벨링되지 않은 실제 세계 타깃 데이터셋을 수집한다.
• 대립 학습을 이용해 소스 도메인 시뮬레이션을 타깃 도메인 스타일로 변환하는 도메인 변환 생성기 G를 도입한다.
• 픽셀 일관성(pixel-consistency)과 대립적 특징 정렬을 통해 도메인 불변 특징을 학습하기 위해 소스와 의사 타깃 데이터를 페어링하여 학습한다.
• 도메인 강건성을 촉진하기 위해 degradatio 기반 데이터 증강을 적용한다.
• E에서 추출된 특징 E에 대해 엔드-투-엔드 회귀 모델 P를 학습하고, 도메인 판별기 D를 두어 도메인 불변 표현을 촉진한다.

실험 결과

연구 질문

• RQ1 대부분 시뮬레이션 데이터를 사용하고 소량의 라벨링되지 않은 실제 샘플을 추가하는 도메인 적응 프레임워크가 높은 정확도의 오정렬 예측을 가능하게 할 수 있는가?
• RQ2 실제 세계의 AA에서 정확도를 유지하면서 온-디바이스 데이터 수집 비용을 얼마나 줄일 수 있는가?
• RQ3 오차 허용Perturbation과 도메인 적응을 결합하면 AA 작업에서 도메인 간 일반화가 개선되는가?
• RQ4 데이터 변환과 특징 정렬의 어떤 조합이 시뮬레이션과 실제 세계 도메인을 AA를 위해 가장 잘 bridg하는가?

주요 결과

• DA3는 데이터 수집 시간을 줄이면서도 보안 렌즈 세트에서 MAE 2.03 μm의 온-디바이스 벤치마크에 근접한 정확도를 달성한다.
• 소수의 라벨링되지 않은 실제 세계 이미지만으로도 DA3는 실제 세계 데이터로 학습된 모델의 성능에 근접하게 접근하여 레이블링 노력을 크게 줄인다.
• 허용 오차 perturbations를 도입하면 일반화에 도움이 되지만 도메인 간 격차를 해소하고 높은 정확도에 도달하려면 도메인 적응이 필수적이다.
• DA3는 실제 세계 보안 렌즈와 시뮬레이션된 스마트폰 렌즈의 두 가지 렌즈 유형에서 효과를 보이며 확장 가능한 광학 조립을 위한 다이얼-트윈 기반 접근 방식도 지원한다.