[논문 리뷰] Grow with the Flow: 4D Reconstruction of Growing Plants with Gaussian Flow Fields

Weihan Luo, Lily Goli외 4명|arXiv (Cornell University)|2026. 02. 09.

Plant Molecular Biology Research인용 수 0

한 줄 요약

GrowFlow 모델은 식물의 성장을 연속적인 3D 가우시안 흐름으로 모델링하며 신경 ODE에 의해 제어되어 여러 시점의 타임랩스 데이터로부터 자라나는 식물을 일관되고 시간적으로 확장된 재구성 가능하게 한다. 또한 3D 가우시안으로의 역성장 훈련과 시공간 HexPlane 인코더를 도입해 성장 역학을 예측한다.

ABSTRACT

Modeling the time-varying 3D appearance of plants during growth poses unique challenges: unlike most dynamic scenes, plants continuously generate new geometry as they expand, branch, and differentiate. Existing dynamic scene representations are ill-suited to this setting: deformation fields provide insufficient constraints to yield physically plausible scene dynamics, and 4D Gaussian splatting represents the same physical structures with different Gaussian primitives at different times, breaking temporal consistency. We introduce GrowFlow, a dynamic representation that couples 3D Gaussian primitives with a neural ordinary differential equation to model plant growth as a continuous flow field over geometric parameters (position, scale, and orientation). Our representation enables consistent appearance rendering and models nonlinear, continuous-time growth dynamics with full temporal correspondences for every primitive. To initialize a sufficient set of Gaussian primitives, we first reconstruct the mature plant and then learn a reverse-growth process, effectively simulating the plant's developmental history in reverse. GrowFlow achieves superior image quality and geometric coherence compared to prior methods on a new, multi-view timelapse dataset of plant growth, and provides the first temporally coherent representation for appearance modeling of growing 3D structures.

연구 동기 및 목표

• 성장하는 식물에서 시간에 따라 새로운 기하학적 구조가 나타나는 정확한 4D 재구성을 목표로 한다.
• 3D 가우시안 프리미티브를 이용한 식물 성장의 연속 시간 미동역 시스템을 제안한다.
• 역성장과 학습된 흐름 필드를 통해 시간에 따라 새로운 구조의 도입을 가능하게 한다.
• 광측정(Photometric) 및 기하학적 정확도에서 높은 성능을 달성하면서 단조로운 성장 가정을 유지한다.
• 합성 및 실제 다중 시점 타임랩스 식물 데이터에서 최첨단 성능을 시연한다.

제안 방법

• 장면을 시간에 따라 기하 매개변수가 변하는 3D 가우시안 스플랫으로 표현한다.
• 가우시안 중심, 회전 및 스케일을 좌표화하는 속도장 F_phi로 시간에 따른 진화를 모델링한다.
• 시공간 HexPlane 인코더와 MLP 디코더를 사용해 각 가우시안의 속도를 예측한다.
• 경계 재구성, 조각별 역적분, 전역 최적화를 포함한 다단계 학습 절차를 수행한다.
• 역성장 방식을 채택: 가우시안을 과거로 축소한 뒤 흐름을 역으로 적용해 앞으로의 성장을 얻는다.

Figure 2 : Method overview. a) Our method first optimizes a set of 3D Gaussians on the fully-grown plant. b) Using the optimized 3D Gaussians from the fully-grown plant, we progressively train the dynamics model to learn the state of the plant at each timestep. After each reconstructed timestep, we

실험 결과

연구 질문

• RQ1 연속 시간 가우시안 흐름 모델이 시간에 따라 비강체적이고 위상 변화가 있는 식물의 성장을 포착할 수 있는가?
• RQ2 성장을 역으로 되돌려 가우시안을 축소하는 것이 미분 가능한 최적화와 안정적인 학습에 용이한가?
• RQ3 합성 및 실제 식물 타임랩스 데이터에서 기하학적 정밀도와 광학 품질 면에서 GrowFlow가 최첨단 기준과 비교해 어떤 성능을 보이는가?
• RQ4 시공간 HexPlane 인코딩은 시간에 따른 성장 궤적을 포착하는 데 필수적인가?

주요 결과

Method	Training PSNR (dB) ↑	Training SSIM ↑	Training LPIPS ↓	Training CD ↓	Interpolation PSNR (dB) ↑	Interpolation SSIM ↑	Interpolation LPIPS ↓	Interpolation CD ↓	Combined PSNR (dB) ↑	Combined SSIM ↑	Combined LPIPS ↓	Combined CD ↓
4D-GS	33.04	0.946	0.094	0.73	32.77	0.944	0.094	0.78	32.81	0.944	0.094	0.77
4DGS	30.19	0.939	0.107	12.00	29.11	0.905	0.145	11.95	29.29	0.910	0.138	11.96
Dynamic 3DGS	32.48	0.912	0.154	13.18	32.03	0.908	0.158	13.64	32.11	0.909	0.157	13.56
Ours	35.43	0.957	0.065	0.10	34.93	0.955	0.066	0.11	35.02	0.956	0.066	0.11

• GrowFlow는 관찰된 시간 점 및 보간된 시간점에서 기하학적으로 일관된 성장 궤적과 높은 시간적 일관성을 달성한다.
• 합성 데이터에서 기하학적 정확도(Chamfer Distance)와 이미지 품질(PSNR, SSIM, LPIPS) 면에서 Baselines보다 우수하다.
• 포착된 실제 장면에서 GrowFlow는 Baselines가 어려움을 겪는 새로운 뷰 렌더링 및 안정적인 보간에서 우수한 결과를 낸다.
• HexPlane 기반의 시공간 인코더와 경계 재구성 단계가 성능에 결정적이며 이를 교체하면 결과가 저하된다.
• 역성장 학습은 비미분 가능한 추가 없이 새로운 기하를 지속적으로 도입할 수 있게 한다.

Figure 3 : Results on synthetic data. We compare results on both seen and interpolated times. GrowFlow achieves stable, coherent geometry, unlike prior methods that show visually correct RGB but inconsistent deformations. Yellow marks interpolated frames.