[論文レビュー] SHARP: Spectrum-aware Highly-dynamic Adaptation for Resolution Promotion in Remote Sensing Synthesis

Bingxuan Zhao, Qing Zhou+2 more|arXiv (Cornell University)|Mar 23, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

SHARP は、RS 専用の事前学習なしの動的 RoPE スケジューリングを導入し、大規模なリモートセ sensing テキストから画像生成における解像度促進を実現する。RS 専用前提を微調整した後、マルチスケールの RS 出力を高周波ディテールとグローバルなレイアウトを維持して提供する。

ABSTRACT

Text-to-image generation powered by Diffusion Transformers (DiTs) has made remarkable strides, yet remote sensing (RS) synthesis lags behind due to two barriers: the absence of a domain-specialized DiT prior and the prohibitive cost of training at the large resolutions that RS applications demand. Training-free resolution promotion via Rotary Position Embedding (RoPE) rescaling offers a practical remedy, but every existing method applies a static positional scaling rule throughout the denoising process. This uniform compression is particularly harmful for RS imagery, whose substantially denser medium- and high-frequency energy encodes the fine structures critical for aerial-scene realism, such as vehicles, building contours, and road markings. Addressing both challenges requires a domain-specialized generative prior coupled with a denoising-aware positional adaptation strategy. To this end, we fine-tune FLUX on over 100,000 curated RS images to build a strong domain prior (RS-FLUX), and propose Spectrum-aware Highly-dynamic Adaptation for Resolution Promotion (SHARP), a training-free method that introduces a rational fractional time schedule k_rs(t) into RoPE. SHARP applies strong positional promotion during the early layout-formation stage and progressively relaxes it during detail recovery, aligning extrapolation strength with the frequency-progressive nature of diffusion denoising. Its resolution-agnostic formulation further enables robust multi-scale generation from a single set of hyperparameters. Extensive experiments across six square and rectangular resolutions show that SHARP consistently outperforms all training-free baselines on CLIP Score, Aesthetic Score, and HPSv2, with widening margins at more aggressive extrapolation factors and negligible computational overhead. Code and weights are available at https://github.com/bxuanz/SHARP.

研究の動機と目的

• 大規模 RS テキスト対画像生成を動機づけ、ドメイン特化型拡散前提の欠如に対処する。
• ノイズ除去時に高周波 RS コンテンツを保持する訓練不要の解像度促進法を開発する。
• スペクトラム認識の動的 RoPE スケジューラを提案し、拡張強度を拡散除去ステージに合わせて整合させる。
• 正方形および長方形の解像度間で、単一のハイパーパラメータセットからの堅牢なマルチスケール RS 合成を実証する。

提案手法

• RS-画像コーパス上で FLUX を微調整し、ドメイン特化前提（RS-FLUX）を得る。
• 訓練不要の SHARP を導入し、RDS（合理的減衰スケジューラ）と時変周波数リャンプにより除去時に RoPE 周波数を動的に適応させる。
• RDS は除去時間を減衄因子へ写像し、各ステップでの促進強度を支配する。
• 動的リャンプ関数は時間依存の周波数比 r(d) に基づき RoPE 次元全体へ促進を割り当てる。
• SHARP は解像度に依存せず：単一の設定で複数のターゲットサイズに対応でき、促進因子 s の更新のみ行う。
• 静的 RoPE 外挿が RS の高周波成分が密集しているため悪影響を及ぼすことを実証する実証的・分析的証拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 RS 専用の拡散前提は native 解像度および大規模外挿時のテキスト対画像生成品質を改善するか。
• RQ2 スペクトラム認識の時変 RoPE 外挿戦略は静的方法よりも除去による生成過程で高周波 RS 細部をよりよく保持するか。
• RQ3 SHARP は単一のハイパーパラメータセットから多様な解像度で堅牢なマルチスケール RS 合成を実現できるか。
• RQ4 RS 専用微調整と動的 RoPE タイミングの組み合わせが RS のリアリズムとレイアウト忠実度に与える定性的・定量的影響は何か。

主な発見

• RS-FLUX（RS 専用微調整済み前提）は、ネイティブ解像度（1024×1024）で CLIP、Aesthetic、HPSv2 スコアの vanilla FLUX を上回る。
• SHARP は、6つの解像度にわたり訓練不要ベースラインを CLIP、Aesthetic、HPSv2 の各指標で一貫して上回り、外挿因子が大きいほどその利得が大きい。
• アブレーションでは RS-FLUX と SHARP の組み合わせが最良となり、SHARP 単独でもベースモデルを大幅に上回る。
• SHARP はマルチスケールの一貫性を維持：同じプロンプトから 1024×1024 から 3756×2560 まで多様な解像度で一貫したレイアウトが得られ、解像度が高いほど細部が現れる。
• SHARP は計算オーバーヘッドをほとんど増やさず（推論時間の増加 ≤ 1.5%）。
• スケジューリング形式（合理的減衰）とハイパーパラメータ（αs、α、β）は、アブレーションを通じて頑健でほぼ最適であることを示している。