[논문 리뷰] Physics-Informed Computer Vision: A Review and Perspectives

Chayan Banerjee, Kien Nguyen외 2명|arXiv (Cornell University)|2023. 05. 29.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

이 논문은 물리 법칙을 컴퓨터 비전 파이프라인에 데이터, 네트워크 아키텍처 또는 손실 함수 수정을 통해 통합함으로써 물리적 정보를 갖춘 컴퓨터 비전(PICV)을 위한 체계적인 분류 체계를 제안한다. 유체역학, 전자기 모델, 운동학적 제약 등 물리적 사전 지식이 3D 재구성, 인간 운동 분석, 영상 예측과 같은 작업에서 모델의 강건성, 데이터 효율성 및 물리적 타당성을 향상시키는 방식을 검토한다.

ABSTRACT

The incorporation of physical information in machine learning frameworks is opening and transforming many application domains. Here the learning process is augmented through the induction of fundamental knowledge and governing physical laws. In this work, we explore their utility for computer vision tasks in interpreting and understanding visual data. We present a systematic literature review of more than 250 papers on formulation and approaches to computer vision tasks guided by physical laws. We begin by decomposing the popular computer vision pipeline into a taxonomy of stages and investigate approaches to incorporate governing physical equations in each stage. Existing approaches in computer vision tasks are analyzed with regard to what governing physical processes are modeled and formulated, and how they are incorporated, i.e. modification of input data (observation bias), modification of network architectures (inductive bias), and modification of training losses (learning bias). The taxonomy offers a unified view of the application of the physics-informed capability, highlighting where physics-informed learning has been conducted and where the gaps and opportunities are. Finally, we highlight open problems and challenges to inform future research. While still in its early days, the study of physics-informed computer vision has the promise to develop better computer vision models that can improve physical plausibility, accuracy, data efficiency, and generalization in increasingly realistic applications.

연구 동기 및 목표

• 순수하게 데이터 기반의 컴퓨터 비전 모델이 물리적 타당성, 해석 가능성, 희소하거나 노이즈가 많은 데이터 하에서의 일반화 능력에 빈도 있게 결함을 보이는 것을 해결하기 위해.
• 컴퓨터 비전 파이프라인의 단계로 나누어 물리 법칙을 체계적으로 통합할 수 있는 통합 프레임워크를 구축하기 위해.
• 분류, 세분화, 군중 분석 분야에서 물리적 사전 지식이 아직 미흡하게 활용되고 있는 점을 규명하기 위해.
• 영상, 인간 운동, 로봇공학, 3D 재구성 분야에서 물리적 정보를 갖춘 접근법을 종합적으로 검토하여 효과적인 전략과 열린 과제를 부각시키기 위해.
• 다양한 도메인에서 PICV 방법의 공정한 평가와 비교를 가능하게 하기 위해 표준화된 벤치마킹 플랫폼을 도입할 것을 주장하기 위해.

제안 방법

• 관측 편향(입력 데이터 수정), 인도적 편향(네트워크 아키텍처 수정), 학습 편향(손실 함수 수정)이라는 세 가지 통합 전략을 기반으로 물리적 정보를 갖춘 컴퓨터 비전(PICV)의 분류를 제안한다.
• 유형별 물리적 사전 지식을 분류한다: 예를 들어, 유체역학에는 나비에-스토크스 방정식, 영상에는 맥스웰 방정식, 3D 재구성에는 기하학적 제약, 인간 운동에는 운동학적 제약이 포함된다.
• 물리 법칙의 표현 방식을 분석한다: 예를 들어, PDE 제약 학습에서 손실 함수에 명시적인 방정식을 포함시키거나, 정규화 요소로 사용하거나, 보조 네트워크 입력으로 활용한다.
• 다양한 도메인의 사례 연구를 검토한다: 기하학적 사전 지식을 사용한 NERF 기반 3D 재구성, 해부학적 관절 제약을 통한 자세 추정, 엔트로피와 질서 파라미터를 통한 군중 운동 모델링.
• 물리 법칙 기반 기계학습(PIML)의 통찰을 컴퓨터 비전에 통합하여, PDE 제약이 가미된 신경망과 물리 법칙에 기반한 생성 모델을 시각적 데이터 모odalities에 적용한다.
• 파이프라인 기반 프레임워크를 사용하여 물리적 사전 지식을 특정 컴퓨터 비전 단계(예: 특징 추출, 회귀, 생성)에 매핑함으로써 통합 지점에 대한 체계적인 분석을 가능하게 한다.

Figure 1 . (a) Timeline of PICV papers published over the last five years, where the histogram presents a exponentially increasing trend, (b) Application domains of recent PICV papers. The most applied domain is fluid and solid mechanics closely followed by imaging and photonics applications. While

실험 결과

연구 질문

• RQ1 물리 법칙을 컴퓨터 비전 파이프라인의 다양한 단계에 어떻게 체계적으로 통합할 수 있으며, 이는 모델 성능 향상과 물리적 일관성 향상에 어떻게 기여하는가?
• RQ2 유체역학, 전자기 모델, 운동학적 제약 등 다양한 물리적 사전 지식 중 어떤 것이 컴퓨터 비전 작업에서 가장 효과적인가?
• RQ3 관측 편향, 인도적 편향, 학습 편향은 시각 작업에서 모델 정확도, 데이터 효율성, 일반화 능력에 대해 어떻게 다른 영향을 미치는가?
• RQ4 이론적으로는 잠재력이 크지만 이미지 분류, 세분화, 군중 분석 분야에서 물리적 정보 기반 접근법의 도입이 제한되는 이유는 무엇인가?
• RQ5 도메인 특화 데이터셋과 표준화된 플랫폼 부족으로 인해 PICV 모델의 벤치마킹 및 평가에 어떤 주요 과제가 존재하는가?

주요 결과

• 지난 5년간 PICV 논문 수는 기하급수적으로 증가했으며, 가장 높은 수용률을 보인 분야는 유체역학 및 고체역학이며, 그 다음으로 영상 및 광학 응용 분야에서 높은 비중을 차지한다.
• 물리적 정보를 갖춘 모델은 특히 고차원 또는 데이터가 부족한 상황(예: 3D 재구성, 인간 운동 분석)에서 데이터 효율성과 일반화 능력을 향상시킨다.
• 인간 운동 추적 분야에서 관절 제약과 운동학적 일관성 같은 물리적 제약을 통합하면 자세 추정 정확도와 시간적 일관성이 향상된다.
• PDE 제약(예: 나비에-스토크스 방정식 또는 열 방정식)을 강제하는 물리적 정보 기반 손실 함수는 영상 예측 및 초해상도 작업에서 더 물리적으로 타당한 예측을 이끈다.
• 진전이 있었음에도 불구하고 분류, 세분화, 군중 분석 분야에서는 생성 또는 예측 작업에 비해 물리적 사전 지식의 활용이 여전히 미흡한 큰 연구 격차가 존재한다.
• 표준화된 벤치마킹 플랫폼 부족으로 인해 PICV 방법의 공정한 비교와 재현 가능성에 장애가 발생하여 분야의 발전과 도입을 저해하고 있다.

Figure 2 . A simplified illustrative example of physics incorporation in a CV task, adapted from (Behera et al . , 2021 ) . Here the physics in the form of flow information is extracted from the data/ video segment sequence and incorporated in an aggregating network (PIDLNet).